[发明专利]基于脉冲神经网络的实时深度学习方法、系统及处理器

权利要求书

1.基于脉冲神经网络的实时深度学习方法，其特征在于，包括，

在脉冲神经网络的训练中，利用与各隐藏层的权重矩阵对应的随机反传矩阵，将输出层的误差向量映射为各隐藏层的误差向量；

所述误差向量基于Tempotron学习规则定义；

输出层集各隐藏层利用各自的误差向量基于梯度下降原则更新权重矩阵。

2.根据权利要求1所述的方法，其特征在于，对于某隐藏层或输出层的某个神经元，其上第i个突触的权重的更新量为：

其中λ为学习率，t_i表示突触前脉冲到达突触i的时间，t_max为学习样本展示的时间窗口内膜电位达到最大值V_max的时刻，τ_m为时间衰减常数，

p为该神经元的局部反传误差极性，对于第l层的第k个神经元，有：

其中，p(L)为输出层L的误差向量，为B_l为第l层的随机反传矩阵，对于输出层，B_L指定为单位矩阵I。

3.根据权利要求2所述的方法，其特征在于，还包括，在学习样本的脉冲序列输入展示过程中，累积计算Q_i(t)并存储；

在更新权重时直接调用的最终计算结果。

4.基于脉冲神经网络的实时深度学习系统，其特征在于，包括多个并行的神经计算核，每个核包含有多块并行的神经计算片，

所述神经计算片用于运行若干个脉冲神经元，以及使用如权利要求1-3中任一所述的方法对各突触的权重进行更新。

5.根据权利要求4所述的系统，其特征在于，每个神经计算核对应全连接网络中的一层，负责该层神经元的计算和状态存储，神经计算核逐层连接。

6.根据权利要求4所述的系统，其特征在于，还包括误差管理模块，负责管理网络的输出误差，并把输出误差依次加载到各神经计算核的寄存器中。

7.根据权利要求4所述的系统，其特征在于，所述神经计算核内还包括Trace存储器和Trace更新单元，

所述Trace存储器用于存储Q_i(t)值；

所述Trace更新单元用于在突触前脉冲到达神经元时读取Q_i(t)值，并在依照权利要求3中所述的计算方式更新Q_i(t)值后，再写回Trace存储器中。

8.根据权利要求7所述的系统，其特征在于，所述神经计算片内还包括Trace备份寄存器和学习更新单元；

所述Trace备份寄存器用于存储该神经计算片所负责的每个突触的值；

所述学习更新单元用于与从Trace备份存储器中读出某个突触的值，将其与学习率及相应神经元的局部反传误差极性相乘后得到权重变化量Δw，然后该突触权重w_ij与Δw相加得到更新后的权重w_ij’，进而更新该突触的权重。

9.基于脉冲神经网络的实时深度学习处理器，其特征在于，该处理器中集成了如权利要求4-8中任一所述的系统。

10.根据权利要求9所述的处理器，其特征在于，该处理器的I/O接口包括，N-bit输入脉冲信息、N-bit输出脉冲信息、2-bit输入的三值误差极性及2-bit输出的三值误差极性。