[发明专利]一种基于时间-波长交织的光子二维卷积加速方法及系统

说明书

本发明公开了一种基于时间‑波长交织的光子二维卷积加速方法及系统，首先将待卷积信号加载到包含M×N个波长的多波长光信号上，通过解波分复用器将多波长光信号分为M个各包含N个波长的子光信号；M个子光信号依次增加等间隔延时后送入延时加权微环阵列，控制延时加权微环阵列中M个延时加权微环单元中共M×N个微环的耦合系数分别实现M×N个波长信号幅度加权；幅度加权后的M个子光信号波分复用为一路复合光信号后完成光电转换即可得到相应特征信号。本发明将光作为信息载体，基于两级延时与二维微环阵列加权，在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，大幅提高卷积运算的速率及能效比。

技术领域

本发明涉及一种面向人工智能的光子神经网络卷积加速方法，尤其涉及一种光子神经网络卷积加速系统，属于光子计算领域。

背景技术

人工智能如今广泛应用于机器视觉、自然语言处理及自动驾驶等领域，其中作为人工智能技术重要模型之一的人工神经网络因具有优秀泛化能力及稳定性而被广泛使用。由于目前电子芯片采用将程序空间与数据空间分离的经典计算机结构，致使存储单元与计算单元之间数据载荷不稳定且功耗较高，限制网络模型训练的效率。常用解决方案是通过提高电子芯片集成度或通过存内计算来提高运算效率，但受限于电子芯片的微观量子特性及宏观高频响应特性，这些技术方向也面临巨大挑战。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点，目前已吸引研究人员将光子技术应用在人工智能领域（参见[Shastri B J, Tait A N, Ferreira de Lima T, et al. Photonics forartificial intelligence and neuromorphic computing. Nature Photonics, 2021,15(2): 102-114.]）。将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈，解决传统电子技术受限的技术问题（参见[Huang C, Fujisawa S, de Lima T F, et al. A silicon photonic–electronic neural network for fibre nonlinearity compensation. NatureElectronics, 2021, 4(11): 837-844.]）。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[Xu X, Tan M,Corcoran B, et al. 11 TOOS photonic convolutional accelerator for opticalneural networks, Nature, vol. 589, no. 7840, pp. 45-51, 2021.]）提出一种基于色散技术实现待卷积信号的卷积运算与全连接前馈神经网络，运算速度已接近现有基于电子技术的最新芯片，但该方案功耗却得到大大降低，为光子神经网络迈向实用化提供了可靠依据。除了基于分立器件的系统级神经网络，光子集成神经网络芯片也在不断迭代更新，如（参见（Shen Y, Harris N C, Skirlo S, et al. Deep learning with coherentnanophotonic circuits. Nature Photonics, 2017, 11(7): 441-446.））基于三角分解矩阵运算算法基本理论模型研制了世界第一款光子计算芯片，通过光子芯片结合电域仿真实现线性运算及非线性激活函数，从而构建全连接光子神经网络，基于芯片两次运算可实现一层全连接神经网络线性运算，同时基于计算机藩镇饱和吸收体的传输特性实现非线性运算。相较于目前发展得较为成熟的电子神经网络，该方案系统通用化、规模化及实用化等方面仍然具有广阔的提升空间。

发明内容