[发明专利]一种脉冲神经网络间接监督训练方法

说明书

本发明公开了一种脉冲神经网络间接监督训练方法，包括将人工神经网络ANN转化为脉冲神经网络SNN的方法，其特征在于：所述将人工神经网络ANN转化为脉冲神经网络SNN的方法包括以下步骤：选用ReLU()作为激活函数；将ANN中所有偏置置零之后进行训练；权值定点化。本发明的优点在于：将ANN间接监督的方式运用到SNN。

技术领域

本发明涉及脉冲神经网络技术领域，具体是指一种脉冲神经网络间接监督训练方法。

背景技术

不管是ANN还是SNN，其训练，或者说是学习，都是通过对神经元之间的连接权值的调节来实现的，这一点在生物神经网络中体现为突触可塑性。权重的调节算法在人工神经网络的学习中至关重要，在ANN中，反向传播算法和梯度下降取得了巨大的成功，但是在SNN中，反向传播算法不再适用，其冲突主要体现为两点：一是在脉冲神经网络中，ANN中激活函数变成了诸多脉冲的权重和，而脉冲可认为是狄拉克函数，不存在导数，从而使得反向传播算法无法在SNN中应用。另一个问题是生物合理性，又被称为Weight Transport问题，这个问题在ANN和SNN中都存在，具体的，在反向传播算法的计算中需要用到前向连接的权重值，然而，在生物中不存在这样的反向连接，从而使得反向传播算法不具备生物合理性。

目前，脉冲神经网络尚未出现一种公认的训练算法，依据是否使用标签可以分为无监督学习和有监督学习两类。

脉冲神经网络采用与生物神经网络更为相近的结构，尽管导致其无法应用在ANN中大放异彩的反向传播算法，但是也使其能够应用具有生物可解释性的学习规则，其生物学基础为脉冲时序依赖可塑性(Spike-Timing-Dependent Plasticity，STDP)。其主要特点是依据突触前和突触后神经元的相对激发时间(10ms量级)来调整它们之间的连接权重，其数学近似如下所示：

式中Δω代表权重的改变量，τ代表时间窗常数，当突触前神经元在突触后神经元激发钱激发时，它们之间的权重会变大，反之变小，其变化受到超参数τ、a⁺和a^-的影响，类似于在梯度下降算法中的学习率，利用STDP规则设计的无监督学习方法能够起到很好的特征提取作用。

(2)有监督学习

SpikeProp是最早在脉冲神经网络中采用误差反向传播的学习算法，其特点是其神经元模型采用脉冲响应模型，将神经元的激活状态值的变化看作是在极短时间内的线性增加，同时规定神经元只能输出单个脉冲，将误差定义为输出神经元的脉冲激发时间的均方误差。在之后，ReSuMe、SPAN等学习算法逐渐涌现，其特点都是由一个神经元接收多个神经元的输入进而产生想要的脉冲时间序列。

在深度脉冲神经网络中，有监督学习又可以分为间接和直接两种类别。首先，间接监督学习是指先训练ANN，再由ANN转换为SNN，在ANN的训练过程中利用标签进行有监督训练。其核心理念是将ANN中连续激活值理解为SNN中的脉冲激发频率。在此方向上的研究包括ANN结构的约束、转换方式等等。直接监督学习针对反向传播与SNN的冲突提出了一些方案，针对不可导问题一般采用近似的可导函数来解决。关于Weight Transport问题研究发现使用随即权重代替反向传播中的权重不会显著的影响结果。但是需要指出的是，直接监督的训练方式在准确率上仍然比间接监督的训练方式低。

发明内容

本发明为解决上述各种问题，提出了将ANN间接监督的方式运用到SNN上的一种脉冲神经网络间接监督训练方法。

为解决上述的技术问题，本发明提出的技术方案为：一种脉冲神经网络间接监督训练方法，包括将人工神经网络ANN转化为脉冲神经网络SNN的方法，所述将人工神经网络ANN转化为脉冲神经网络SNN的方法包括以下步骤：

步骤一：选用ReLU()作为激活函数；

步骤二：将ANN中所有偏置置零之后进行训练；