[发明专利]脉冲神经网络训练方法、装置以及终端

说明书

本发明的脉冲神经网络训练方法、装置以及终端，通过脉冲神经网络，根据输入实值计算对应的输出脉冲编码；对所述输出脉冲编码进行脉冲解码，以获得输出实值；基于误差函数，根据所述输出实值与所述输入实值所对应的数据标签计算当前网络计算误差，以供在未达到目标精度的情况下更新所述脉冲神经网络的网络参数。本发明在脉冲神经网络训练中所需的脉冲周期数少，模型精度比传统方法高，同时训练时间比常规的直接训练方法短。

技术领域

本发明涉及数据处理领域，特别是涉及一种脉冲神经网络训练方法、装置以及终端。

背景技术

深度神经网络(DNN)研究近年来取得了飞速发展并得到初步应用。然而实现这样的算法，通常需要消耗大量的算力。以YOLO-V3为例,在416*416像素分辨率输入下，需要658.6亿次的浮点计算。当输入尺寸增长到608，则需要1406.9亿次。

另一方面，脉冲神经网络(SNN)近年来以其低功耗和更接近人脑的特点吸引了学术界和产业界的关注。在脉冲神经网络中，树突是接收脉冲的单元，轴突是发送脉冲的单元，一个神经元通过轴突连接到多个树突，树突和轴突的连接点称为突触。轴突发送脉冲后，所有和这一轴突有突触连接的树突会收到脉冲，进而影响到轴突下游神经元。神经元将来自多个轴突的脉冲加权相加并与当前的膜电压累加，如果数值超过阈值，就向下游发送一个脉冲。脉冲神经网络内传播的是1比特的脉冲，脉冲的激活频率比较低，并且只需要加减法运算，没有乘法运算。相比于基于深度学习的神经网路，脉冲神经网络功耗更低。

将深度神经网络脉冲化转成脉冲神经网络，可以充分利用脉冲神经网络的低功耗优势。

除此之外，在很多实际工业场景条件下，用于训练网络的数据集往往不全面，训练的网络泛化能力较弱，加之运行时噪音较大，传统神经网络鲁棒性相对较差。脉冲神经网络因为其只传递脉冲的特性，在有限的信息量下尽可能地减小无关信息传入到下一层，因此抗干扰能力与泛化能力往往更强。不同于ANN(人工神经网络)模型，SNN模型的激活函数为阶跃函数。因为过程中涉及到了阶跃函数，其反向导数为冲击奇异函数，其不可导的性质给训练SNN提出了挑战。

目前脉冲神经网络主要采用两种方法获得，转换法和直接训练法。在“OptimalANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking NeuralNetworks”一文中，作者详细叙述了如何采用转换法将训练好的ANN模型权重换算成对应的SNN权重。在“Going Deeper With Directly-Trained Larger Spiking Neural Networks”中提出了利用导数替换方式直接训练SNN模型的流程。训练过程中，将阶跃函数的反向导数替换为sigmoid导数或者方波函数等，避免了奇异函数无法向后传播的问题。

然而，转换法由于其数学逼近的特性往往需要很多的脉冲周期(100)才能逼近ANN模型，模型在推理阶段实时性差。直接训练方法解决了转换法脉冲周期数多的问题，但是训练时间过长(对应ANN版本的很多倍)，在物体识别等回归问题的场景下精度也偏低。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种脉冲神经网络训练方法，用于解决现有技术中出现的以上技术问题。

为实现上述目的及其他相关目的，本发明提供一种脉冲神经网络训练方法，包括：基于脉冲神经网络，根据输入实值计算对应的输出脉冲编码；对所述输出脉冲编码进行脉冲解码，以获得输出实值；基于误差函数，根据所述输出实值与所述输入实值所对应的数据标签计算当前网络计算误差，以供在未达到目标精度的情况下更新所述脉冲神经网络的网络参数。

于本发明的一实施例中，所述脉冲神经网络采用优化的LIF神经元模型；

其中，所述优化的LIF神经元模型计算方式包括：在所述LIF模型中Leaky-Integrate计算与Fire计算之间均插入批归一化计算。