[发明专利]基于脉冲神经网络的实时深度学习方法、系统及处理器

说明书

本发明属于微处理器技术领域，具体公开了一种基于脉冲神经网络的实时深度学习方法，其特征在于，包括，在脉冲神经网络的训练中，利用与各隐藏层的权重矩阵对应的随机反传矩阵，将输出层的误差向量映射为各隐藏层的误差向量；所述误差向量基于Tempotron学习规则定义；输出层集各隐藏层利用各自的误差向量基于梯度下降原则更新权重矩阵。基于该方法，本发明还公开了相应的基于脉冲神经网络的实时深度学习方法级处理器，保证图像识别率的同时，满足边缘应用场景的高能效和实时性要求。

技术领域

本发明属于微处理器技术领域，具体涉及一种基于脉冲神经网络的实时深度学习方法、系统及处理器。

背景技术

近年来，人工智能和深度学习在诸如人脸识别、语音识别、工业产品检测、目标跟踪、车辆自动驾驶等领域得到广泛应用。但由于传统人工神经网络(ArtificialNeuralNetwork,ANN)模型需要所有神经元参与同步密集运算，基于通用CPU、GPU实现存在功耗高、处理速度慢的问题。即使采用专用加速芯片，在能效指标上仍不理想。相比之下，人类大脑皮层约有860亿个神经元，但采用时间空间上稀疏的电脉冲对感官输入信息进行编码、传输和处理，计算量很少，只需消耗约20W功耗就能完成实时学习和推理识别等高级认知过程，具有很高的能量效率。神经形态芯片通过模拟人脑工作机制、运行脉冲神经网络(SpikingNeuralNetwork,SNN)来提高智能系统的能量效率，成为近年研究热点。其中较具有代表性的有SpiNNaker、TrueNorth和Loihi等，但这类芯片主要服务于大型仿真计算平台，网络规模和芯片面积较大，难以满足对系统能耗、成本、体积和实时性有严格限制的应用场景；为了解决这一问题，现有技术中又提出了许多面积较小的神经形态芯片，例如ODIN、MorphIC、SPOON等，但这类芯片仅支持简单的浅层脉冲神经网络片上学习，图像识别率低。虽然算法研究者提出了很多深度脉冲神经网络学习规则，但涉及的运算操作往往非常复杂、不规则且耗时，很难移植到资源有限的硬件电路上实时运行。

发明内容

本发明的目的之一是提供一种基于脉冲神经网络的实时深度学习方法，该方法简单快速，易于在神经形态芯片上实现的深度脉冲神经网络学习算法，使得神经形态网络芯片在保证图像识别率的同时，满足边缘应用场景的高能效和实时性要求。

基于脉冲神经网络的实时深度学习方法，包括，

在脉冲神经网络的训练中，利用与各隐藏层的权重矩阵对应的随机反传矩阵，将输出层的误差向量映射为各隐藏层的误差向量；

所述误差向量基于Tempotron学习规则定义；

输出层集各隐藏层利用各自的误差向量基于梯度下降原则更新权重矩阵。

进一步的，对于某隐藏层或输出层的某个神经元，其上第i个突触的权重的更新量为：

其中λ为学习率，t_i表示突触前脉冲到达突触i的时间，t_max为学习样本展示的时间窗口内膜电位达到最大值V_max的时刻，τ_m为时间衰减常数，

p为该神经元的局部反传误差极性，对于第l层的第k个神经元，有：

其中，p(L)为输出层L的误差向量,为B_l为第l层的随机反传矩阵，对于输出层，B_L指定为单位矩阵I。

进一步的，还包括，在学习样本的脉冲序列输入展示过程中，累积计算Q_i(t)并存储；

在更新权重时直接调用的最终计算结果。

本发明还公开了一种基于脉冲神经网络的实时深度学习系统，包括多个并行的神经计算核，每个核包含有多块并行的神经计算片，