[发明专利]基于增强脉冲的深层双阈值脉冲神经网络转换训练方法

权利要求书

1.基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，包括如下步骤：

1)训练ANN：

首先用反向传播算法训练与SNN相同网络结构的ANN；

2)基于增强脉冲深层双阈值SNN转换算法映射权值：

使用基于增强脉冲深层SNN转换算法进行转换，将训练好的ANN权值映射到对应的SNN神经元的权值中；

3)设置双阈值增强脉冲神经元阈值：

根据提出的阈值设定规则设置转换后得到的双阈值增强脉冲神经元的阈值，得到已训练的深层SNN。

2.根据权利要求1所述的基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，双阈值增强脉冲神经元动力学公式：

其中V_i^l(t)是第l层的第i个神经元t时刻的膜电位，是第l-1层的第j个神经元t时刻的输出，w_ij是前一层第j个神经元与l层第i个神经元之间的权值，M^l-1代表了第l-1层的脉冲神经元个数，是对应的偏差量，θ_p和θ_N分别代表了脉冲神经元的正阈值和负阈值；

公式(1)说明了脉冲神经元膜电位的整合情况；

公式(2)描述了增强脉冲的发放情况；

公式(3)给出了当脉冲发放时膜电位的衰减情况；

该方法主要包括以下三个部分：训练深层ANN、基于增强脉冲深层SNN的转换算法和双阈值脉冲神经元阈值的设定；

步骤一，训练深层ANN

首先选定与待训练深层SNN架构相同的深层ANN，用反向传播算法训练ANN；

步骤二，基于增强脉冲深层双阈值SNN转换算法映射权值

将训练好的传统神经网络神经元的权值映射到对应双阈值脉冲神经网络的增强脉冲神经元的权值上，即得到训练好的深层SNN；

具体的转换依据：

传统神经网络的模型公式为：

其中是第l层第i个神经元的激活值，是对应的偏差项，α是斜率；

首先从公式(1)和公式(3)中得到，在发放脉冲前的膜电位为：

通过公式(5)迭代计算最后时刻T的膜电位：

从公式(2)中可以得到：

其中σ是误差项，

从公式(6)和公式(7)可以得到：

定义脉冲发放频率为：其中是在整个T时间内脉冲发放的总个数；

因此，公式(8)可以转化为：

公式(9)为递归迭代公式，基于此公式可以通过逐层计算近似：

首先近似第一层，为了简便计算使ANN和SNN的输入一致，即满足r⁰(T)＝z⁰，从公式(4)和公式(9)中可以得到：

可以看出，当T趋近于无穷的时候，脉冲频率与ANN的激活值近似；

在随后的隐藏层中，通过迭代公式(9)，依靠已知的第一个隐藏层，可以计算得：

此公式也说明了在更高层中，激活值与脉冲频率近似；

由公式(10)和公式(11)可得，增强脉冲神经元的脉冲发放频率近似ANN神经元的激活输出；

因而可以通过直接映射ANN的权值到SNN的方式训练深层SNN；

步骤三，设定脉冲神经元的双阈值

从公式(10)和公式(11)中可以得到为满足脉冲发放频率与ANN神经元激活值近似的脉冲神经元双阈值与斜率的关系，即：和设定脉冲神经元阈值。