[发明专利]一种用于脉冲神经网络的高效高精度训练算法

说明书

一种用于脉冲神经网络的高效高精度训练算法，包括以下步骤：采集MNIST手写数字图像，对MNIST手写数字图像进行预处理，得到脉冲序列；根据脉冲神经网络输出和样本真实标签构建损失函数，采用反向传播方法将脉冲序列输入到脉冲神经网络中，对脉冲神经网络进行训练，得到训练完成的脉冲神经网络；将待分类数据输入训练后的脉冲神经网络，得到分类结果。本发明编码效率更高，克服了梯度传递的问题，仿真时间得以缩短，仿真消耗降低，保持了较高的分类准确率，拓展性良好，可以应用于不同的学习分类任务。

技术领域

本发明涉及脉冲神经网络技术领域，尤其涉及一种脉冲神经网络的高效高精度训练算法。

背景技术

人工神经网络是基于生物学中的神经网络原理，模拟大脑神经系统对信息进行处理的一种数学模型。从早期的感知器模型到后来的BP神经网络，再到近些年来的深度神经网络，神经网络已经成为一种强大的处理工具，推动了诸如图像识别，无人驾驶等的发展，在相当多的领域实现突破。尽管人工神经网络的性能优异，但并不具有很好的生物合理性，因此学者们提出了脉冲神经网络模型，希望更好地模拟大脑处理信息的过程。因此，设计高效高精度的脉冲神经网络训练方法也是目前热门的研究课题。

脉冲神经网络是神经网络研究的一个方向，为了提高仿真速度，提高分类准确率，脉冲神经网络从最初的无监督学习算法到监督学习算法不断发展。现有的脉冲神经网络学习算法大体分为两类，一类是将预先训练好的人工神经网络转换为对应的脉冲神经网络，这类方法要达到较好的分类精度需要较长的仿真时间，难以在低功耗硬件上应用。第二类方法是直接训练脉冲神经网络，但由于脉冲函数不连续难以应用反向传播算法，准确率较传统人工神经网络低，由于采用频率编码等编码方案，训练效率不够理想。因此需要提出可以减少仿真时间，同时保证高精度分类的算法来训练脉冲神经网络。若是脉冲神经网络训练不好，则会造成于不同的数字或图像数据分类不准确。

发明内容

本发明的目的是提供了一种用于全连接或卷积脉冲神经网络的训练算法，该算法具有非常好的学习效率，可以降低脉冲网络仿真过程中的计算资源消耗，提高仿真时间，有非常好的分类准确率，可以让脉冲神经网络在短时间训练的条件下，按照标记好的类别对数据集进行分类，并保证优于以往脉冲神经网络的分类准确率，实现对图像数据的分类，还可以应用于不同的数字分类。

为了达到上述目的，本发明采用的技术方案如下：

一种用于脉冲神经网络的高效高精度训练算法，包括以下步骤：

S1：采集MNIST手写数字图像，对MNIST手写数字图像进行预处理，得到脉冲序列；

S2：根据脉冲神经网络输出和样本真实标签构建损失函数，采用反向传播方法将脉冲序列输入到脉冲神经网络中，对脉冲神经网络进行训练，得到训练完成的脉冲神经网络；

S3：将待分类数据输入训练后的脉冲神经网络，得到分类结果。

进一步的，步骤S1中，MNIST手写数字图像大小为28*28。

进一步的，步骤S1中，MNIST手写数字图像的像素值除以255，得到[0,1]范围内的归一化像素值，对输入图像进行预处理，产生[0,1]内的随机数，将随机数与[0,1]范围内的归一化像素值比较，如果像素值大于随机数，则产生脉冲，从而得到脉冲序列。

进一步的，脉冲神经网络包括卷积层和池化层。

进一步的，梯度近似函数h(u)通过下式计算：

式中，a为x轴上的范围宽度，u是膜电位，V_th为神经元膜电位的阈值。