科学家研发储备池计算机，无需任何光电或模数转换，对应算力高达101TOPS
source link: https://www.mittrchina.com/news/detail/12894
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
麻省理工科技评论-科学家研发储备池计算机，无需任何光电或模数转换，对应算力高达101TOPS
近日，上海科技大学教授王成和团队，成功构建了首例全光深度储备池计算机，解决了储备池光计算机的深度架构问题。
这款计算机的工作频率为 20GHz，时延为 263ns，它可以产生 5000 余个神经元节点，对应的算力为 101TOPS。
这不仅是以全光形式连接储备池隐藏层的第一例工作，也针对储备池计算机的可解释性提供了强有力的证据。
同时，这款深度储备池计算机通过耦合的激光器，解决了信号均衡的问题，而且大部分信号处理都发生在光域，故能大大减小计算的时延。
通过使用级联光注入锁定的技术，课题组构建了 4 层隐藏层，每个隐藏层由一个半导体激光芯片和一个光学反馈环构成，其中光学反馈环可以产生光学神经元和光学突触。
在相关论文之中，尽管他们只使用了其中 320 个神经元节点，来处理光纤通信中的非线性信道均衡的任务，但是依旧取得了非常好的效果。
据介绍，非线性信道均衡问题是后香农时代的十大数学难题之一。在光纤通信领域，学界和业界都非常关注这一问题。
而该团队所提出的深度储备池光计算机架构主要拥有两大优势：
一是隐藏层之间的连接是全光的，无需任何光电转换和模数转换的过程，因此具有低能耗和低时延的优势；
二是该架构的可拓展性极好，当储备池深度增加的时候，也不会减小系统中的光功率，因此可以根据任务需要，来构建任意深度的储备池光计算机。
多年来，包括 Nature 和 Science 在内的期刊报道了多种光计算架构和实现方案，可以说光计算在学界备受关注。同时，投资界也非常看好这一领域，目前国内外已经涌现多家光计算公司。
当前的大部分光计算产品，旨在解决神经网络中矩阵运算的问题，即替代 GPU 或部分 GPU 的运算功能。当这类光计算产品的工作时，依旧需要在软件层面实现神经网络算法。
而对于硬件化的光学神经网络来说，它则采用了完全不同的概念。正因此，未来储备池光计算机主要能被用于边缘计算。
典型的边缘计算场景包括智能制造、机器人、智慧医疗、智能交通、智慧家居等。
根据 Gartner 预测，预计 2026 年全球边缘 AI 芯片市场规模达到 688 亿美元。相比目前市面上的主流边缘计算产品，在同等功耗之下，储备池光计算机的算力高出 1 个数量级，时延则能降低 3 到 4 个数量级。
提出真问题，解决真矛盾
对于人工智能来说，人们更多震撼于它的功能之强大。但是，它的发展离不开“背后三兄弟”的支持：算法、算力和数据（即人工智能三要素）。
当前最主流的算法是人工神经网络，常见的人工神经网络包括全连接神经网络、卷积神经网络、循环神经网络、以及 Transformer 神经网络。其中，ChatGPT 所使用的正是 Transformer 神经网络。
而在循环神经网络算法之中，储备池计算则是一种特殊的存在。2000 年初，储备池计算被正式提出。当时，由于循环神经网络普遍存在梯度消失和梯度爆炸的问题，以至于无法对其进行训练。
但是，人们发现对于储备池计算架构来说，当让它的输入层和隐藏层的权重保持随机固定的时候，这时只需要训练输出层的权重，不仅训练成本低，而且训练速度非常快，能够很好地解决循环神经网络的训练问题。
目前，人们主要通过软件方式，来实现人工神经网络算法，然后依赖计算机提供的算力进行数据学习。然而，随着大规模生成式人工智能的发展，也给包括 GPU、CPU 在内的数字计算芯片的算力和功耗提出了巨大挑战。
而对于生物神经网络来说，它并不需要依赖软件编程进行工作，而且功耗还比较低。那么，能否通过使用某种硬件，来构建类似生物神经网络的物理神经元和物理突触？
基于此，人们提出了硬件神经网络（即物理神经网络）的概念。相比数字化的软件神经网络，这种模拟化的硬件神经网络兼具低功耗和低时延的优势。
2010 年以后，包括电子和光电子在内的诸多领域，关于储备池计算机始的研究呈现出长盛不衰的趋势。当时，基于各种器件的储备池计算机成果层出不穷，其中的主流器件主要有忆阻器、自旋电子器件、量子器件、以及半导体激光器。
相比储备池电计算机，储备池光计算机的最大优势在于速度快、时延低、能效比高。但是，目前为止大部分储备池计算机仅仅具有单层架构。
然而，根据深度学习理论可知，只有当储备池计算机具备深层架构的时候，才能将其用于处理现实场景中的复杂任务。
和其他光计算架构不同的是，储备池光计算的理解相对比较困难。从事这类课题的时候，必须具备半导体激光器、非线性动力学和深度学习方面的背景知识，并且三者缺一不可。而在过去王成在这三方面尤其是在半导体激光器研究上，已经积累了不少经验。
一个暑假学完深度学习经典教材
王成表示，2013 年当自己还在法国国立应用科学学院读博时，他在一场学术会议上第一次听说了储备池光计算的概念。
但在当时由于自己缺少人工智能的背景知识，他几乎完全听不懂报告人在讲什么。后续，当他参加其他学术会议的时候，听到了越来越多的储备池光计算报告。
2018 年，王成已经入职上海科技大学。那一年，他在香港参加一次学术会议，与一位来自法国的学者深入讨论了这样一个问题：要不要从事储备池光计算的研究？
“当时他给我的建议是这个领域的研究周期很长，非常不利于论文的发表。而我是 2019 年暑假才下定决心研究储备池光计算。当时，我用了一整个暑假学习‘GANs 之父’Ian Goodfellow 经典教材 Deep Learning。”王成说。
他继续说道：“2019 年 9 月开学时，一位非常聪明的推免生汤佳燕加入我的课题组，开始了本次课题的研究。此前她主要研究通信，但是她的学习能力很强，很快补上了所需要的全部背景知识，同时她的理论建模能力和实验操作能力也很强。”
而找出“真”问题并提出主要矛盾，是王成和团队在研究伊始立下的心志。他表示：“解决真问题的研究才是有价值的研究，同时这个问题必须是当前储备池计算发展面临的主要矛盾，只有这样投入精力去解决它才有意义。”
“实际上提出问题和解决问题，是一个从简单到复杂的过程。在我们解决储备池计算机的深度问题之前，我们首先解决了异步的问题，然后解决了并行的问题，且都对应产出了相应的学术论文。”他补充称。
而在前不久，关于本次研究的论文以《深度光子池计算循环网络》（Deep photonic reservoir computing recurrent network）为题发在 Optica（IF 10.4）。
上海科技大学硕士生申祎玮是第一作者，博士生李睿潜和硕士生刘冠廷分别是第二作者和第三作者，王成教授担任通讯作者。
“另外，我想特别感谢我的同事何旭明教授和虞晶怡教授，他们是人工智能领域的资深专家，在人工神经网络上给我们提供了很多指导。我们也已经联合培养了数位学生，如果没有他们一起合作的话，我们也不可能快速推进储备池光计算机方面的工作。”王成表示。
而在未来，他和团队也将再接再厉争取实现储备池光计算机的小型化以及集成化，同时拓展储备池光计算机的应用场景。“非常欢迎有应用需求的朋友与我们联系，一起共同开展研究工作。”其表示。
参考资料：
1.Shen, Y. W., Li, R. Q., Liu, G. T., Yu, J., He, X., Yi, L., & Wang, C. (2023). Deep photonic reservoir computing recurrent network.Optica, 10(12), 1745-1751.
排版：朵克斯
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK