|
“我们认为在不久的将来，片上衍射光学神经网络在生物特征识别、自动驾驶、智能体以及超算中心等领域会有潜在应用。因为这些领域的发展对于高算力密度、低延迟、低能耗等方面的性能要求非常高，而片上衍射光学神经网络芯片能够满足这些要求。”清华大学电子工程系陈宏伟教授表示。 近期，陈宏伟教授课题组基于波动光学，在硅基集成平台基础上展开衍射光学神经网络相关研究，提出了一种基于硅基平台的片上衍射光学神经网络，用以执行具有高集成度和低功耗特性的机器学习任务。
图 | 清华大学课题组。前排右二为本论文第一作者，前排右四为本论文通讯作者（来源：资料图） 据介绍，与现有硅基集成光学神经网络相关工作相比，该课题组的研究目标是将计算单元的集成度提高至少 2 个数量级，即大幅提升片上光学神经网络的计算容量。此外，单位时间内计算吞吐量高于传统计算机的最高计算力，即至少实现每秒完成 1015 次操作。
图丨片上 DONN-M3 的结构、实验流程及测试结果（来源：Nature Communications） 2023 年 1 月 5 日，相关论文以《基于片上衍射光学的光子机器学习》（Photonic machine learning with on-chip diffractive optics）为题在 Nature Communications 上发表 [1]。
图丨相关论文（来源：Nature Communications） 清华大学电子工程系博士生符庭钊为该论文的第一作者，清华大学电子工程系陈宏伟教授为论文的通讯作者。
在片上实现衍射光学神经网络，有望克服机器学习的速度和功耗挑战 人工神经网络，是受大脑信号处理启发而建立的计算网络模型，这些模型极大地促进了机器学习在各领域的应用，比如语音识别、图像识别、自然语言处理等。得益于计算能力、专用硬件的发展，近十年来机器学习技术发展迅猛，其应用涉及的领域非常广泛，且取得了优异的效果。 不过，由于现实中机器学习所面临的问题及任务越来越复杂，无论是在计算速度还是功耗方面，都对目前的电子计算硬件提出了相当大的挑战。因此，需要找到一种用以解决上述挑战的新的计算架构。 在低延迟和超低能耗等方面，光学神经网络具有很大的潜力。关于这方面的研究，现阶段已有很多。 比如，基于传统光学元件或 3D 打印技术实现的空间衍射光学神经网络，以及基于马赫增德尔干涉仪（Mach–Zehnder interferometer, MZI）、微环谐振器（micro ring resonator, MRR）、以及多模干涉仪（multi-mode inferometer, MMI）等基本器件设计的硅基集成光学神经网络等。 那么，衍射光学神经网络在芯片上究竟是如何实现的呢？ 具体来说，由于片上光传播是通过集成光波导来实现的，因此需要在光波导上设计一些特殊结构来对光的传播路径进行调控，使光的场强分布具有一定规律，并利用这种规律完成一些推理任务。 片上衍射光学神经网络就是通过改变光在集成光波导传播过程中的某些物理量来实现的，光传播的整个物理过程与具体的矩阵运算是等效的，并可以解析表达，因此能够实现神经网络的功能。
图丨用于各种任务的多通道片上衍射光学神经网络的概念图（来源：Nature Communications） 片上衍射层与之前提及的多层空间衍射层相比，也具备以下特点。 首先，片上衍射光学神经网络是基于绝缘体上硅平台进行设计和制造的，因此避免了多个衍射层之间的校准误差问题，稳定性及便携性更好。 其次，衍射层上的衍射单元均是亚波长结构（纳米级尺寸），片上衍射光学神经网络的神经元数量可以进行大规模拓展和布局，集成度更高。 同时，片上衍射光学神经网络的制造工艺与标准互补金属氧化物半导体工艺兼容，有利于进行大规模、低成本量产，在各行业领域中的潜在用途更广。
图丨片上衍射光学神经网络原理图及逻辑图（来源：Nature Communications） 针对目前所实现的光学神经网络，存在一些问题。 比如，基于传统光学元件实现的光学神经网络，由于体积较大、便携性较差，在应用上受到了较大的限制。 基于 3D 打印技术实现的光学神经网络，虽然在体积上有一定的改进，但是独立元器件之间的校准过程，依然会导致额外的系统误差和较差的稳定性，也会给其应用场景带来限制。 基于 MZI、MRR 和 MMI 设计的光学神经网络的体积较小，也不存在独立元器件之间的校准问题，但又因为器件本身尺寸的限制，导致其计算单元的集成度较低，神经元规模拓展受限。 因此，为了能够进一步提高片上光学神经网络的集成度，该课题组展开了相关探究。
设计片上衍射光学神经网络芯片，从系统实验上完成可行性验证 据介绍，这个课题从 2020 年春节开始。 在此之前，该课题组已经对片上光学神经网络的相关研究，进行过全面调研，也确定了现阶段片上光学神经网络所面临的问题，如计算容量受限、规模化和重构性难、以及缺乏片上光学非线性等问题。 其中，计算容量受限主要是由于计算单元的单个器件面积较大，并且在保证整个片上系统正常工作的过程中，单个器件需要额外的能量持续供给。因此，要想进一步拓展片上计算单元的集成规模，不仅需要较大的芯片面积，而且维持整个系统正常工作的能量消耗也会迅速增长。 基于此，该课题组认为更小结构尺寸的计算单元对于片上光学神经网络而言是十分重要的，因此决定对基于亚波长结构衍射单元的片上衍射光学神经网络展开研究。 他们很快就论证了片上衍射单元对波导中光场的有效调控作用，通过改变亚波长结构的尺寸，能够实现波导中光波前的重塑。 “这也就是说，通过对亚波长结构尺寸的特殊设计，就可以改变光的传播路径，使其按一定方向传播，从而在硅基物理结构上实现神经网络的推理功能。”研究人员解释道。 那么，如何确定硅基芯片上的亚波长结构的具体尺寸，是该课题组面临的首要难题。 事实上，由于这些亚波长结构的具体物理尺寸即是神经网络中的权值参数，因此可以通过前向传播算法、梯度下降算法以及误差反向传播算法等经典算法进行迭代训练获得。不过，要想通过在计算机上预先训练获得光学神经网络的相关结构参数，就需要前向传播解析表达式，然而在硅基宽波导中没有现成的光传播解析表达式。 历时半年，尝试了很多方法，该课题组最终基于惠更斯-菲涅尔原理，在一定条件下获得了片上空域电磁传播近似解析模型。拥有该解析模型后，就可以通过在计算机上预先训练获得片上衍射光学神经网络芯片的结构参数。 参数训练问题解决后，新的问题随之出现。 如何保证预先训练获得的权值参数能够与硅基芯片上的物理结构准确对应，是该课题组需要克服的又一个挑战。他们必须保证实际加工出来的芯片，能够实现预先训练的神经网络的功能。 因此，其提出了权值参数映射模型，并在上述模型的基础之上，在仿真平台上实现了对片上衍射光学神经网络芯片性能的成功验证。 其实，在以上两种模型得以成功验证之前，该团队也经历了一段煎熬的时期。“尤其是本工作的第一作者，因为他研究的这个方向当时还没有现成的工作可以参考，在遇到困难时很难直接找到直观的解决办法。好在经过多次小组讨论及一对一沟通之后，最终坚持了下来，并解决了模型的验证问题。”课题组表示。 不过，进入实验验证阶段以后，需要该团队攻克的难题更多。 “因为仿真过程中所有的条件都是理想化的，而在实验过程中，我们需要考虑信号的加载，波导边界的反射，芯片加工、封装以及测试过程中带来的系统误差等问题。”研究人员解释道。 基于此，该团队在设计片上衍射光学神经网络芯片之前，积极地与芯片制造方进行了多次交流，确保其工艺能够满足芯片加工的要求，并严格按照现有芯片的工艺条件进行芯片结构设计。
图丨 DONN-I1 和 DONN-I3 片上样品结构、实验流程和测试结果（来源：Nature Communications） 不仅如此，在芯片加工完成后，其还提出了一种有效的系统误差补偿方案，极大地提升了片上衍射光学神经网络芯片的鲁棒性。 最终，该课题组于 2022 年 4 月 12 日，将整个研究成果以论文的形式投稿至 Nature Communications，并在 2023 年年初迎来了正式在线发表。
让思维在碰撞中产生火花，助力科研问题的解决 在整项研究进行的过程中，每当遇到困难时，陈宏伟都会把课题组不同研究方向的同学全部组织在一起讨论，从不同的角度思考问题，因此在讨论的过程中往往能够产生新的想法，从而有利于问题的解决。 与此同时，每当课题研究有进展时，他也会组织主要负责研究该课题的学生，对阶段性工作进展进行总结，再分享给课题组所有的成员。同时，还会要求其规划下一阶段的工作内容及目标，并汇集成员们从自己角度出发提出的建议。 在他看来，这样不仅能够使下一阶段的工作内容及目标更加明确，也能让课题组其他同学参与进来。 此外，该课题组每周都有一个“Journal Club”论文分享。在分享会上，先由成员们分享本周的研究工作及文献阅读内容，再让整个课题组进行相应的讨论，进而为课题组不同研究方向的成员提供更多集中讨论和交流的机会。 “这种模式对学生们的科学研究产生了积极的影响。现阶段这种氛围已经形成，它更像一种潜移默化的约定，在我们课题组会一直延续下去。如果说有哪些难忘的事情，那一定是每次讨论后学生们表现出的那种豁然开朗的感觉。”陈宏伟表示。 目前，该研究主要基于单一任务，设计了片上衍射光学神经网络芯片，并从系统实验上完成了其可行性验证。 这是片上衍射光学神经网络芯片迈向实用化的第一步，也是关键的一步。接下来，该领域的研究将进入深水区，还有更多关键性的难题有待解决。 据介绍，目前课题组已经展开或即将展开的研究方向包括衍射卷积核、高维度输入、可重构以及非线性等关键科学问题。这些问题的解决，将对集成光子芯片的实际应用产生重大意义。 “我们的目标是实现可实用的，并且全流程自主可控的新型片上光学神经网络芯片。”陈宏伟最后说。 参考资料： 1. Fu, T., Zang, Y., Huang, Y. et al. Photonic machine learning with on-chip diffractive optics. Nature Communications 14, 70 (2023). https:///10.1038/s41467-022-35772-7
|
|
|
