[发明专利]基于增强脉冲的深层双阈值脉冲神经网络转换训练方法

说明书

本发明公开一种基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，主要步骤包括：训练ANN；基于增强脉冲深层双阈值SNN转换算法映射权值；设置双阈值增强脉冲神经元阈值。先提出了新的增强脉冲的概念，基于这种新的脉冲形式提出了能处理增强脉冲的新的双阈值增强脉冲神经元模型。双阈值和增强脉冲使单个脉冲同时可以表示极性以及在同一时刻发放脉冲的数量，极大提高了信息的表示能力。随后基于新的神经元模型，我们提出了一种基于增强脉冲的深层双阈值脉冲神经网络转换训练方法。我们用MNIST和CIFAR10数据集检验了我们的方法的性能。

技术领域

本发明属于类脑计算、深度学习领域，尤其是有关提高深层脉冲神经网络模型在图像识别上表现的技术。

背景技术

近年来由于深度学习技术的出现，传统神经网络在众多任务中展示出卓越的效果，在某些特定的场景下甚至能超越人类的能力。但是，完成大型任务需要复杂的深层网络结构的支持，随着神经网络的复杂性逐渐增加，运行其也需要大量的计算资源和能量消耗，这限制了传统神经网络在能源受限设备中的应用。

脉冲神经网络(SNN)是脑启发的第三代神经网络，相对于传统人工神经网络(ANN)而言，具有生物可解释高、能耗低、硬件友好性强等特点，成为解决ANN瓶颈的潜在方案。但是训练深度脉冲神经网络是一项具有挑战性的任务。

之前的研究人员尝试使用生物可解释性高的脉冲时间依赖可塑性算法训练深层SNN，但是在复杂网络中并没有达到较好的效果。有些研究者采用ANN的训练方法——反向传播来训练深层SNN，尽管这种方法在准确率上能够超过脉冲时间依赖可塑性算法，但是距离传统神经网络的准确率来说仍有较大差距。

近期，一种基于转换方法的技术被提出：先训练ANN，然后将ANN的权重转换到与之相同网络结构的SNN中，从而使SNN得到训练的方法。这种方法在之前的工作中达到了与ANN相接近的准确率，在有些工作中甚至达到了与ANN相比无损失精度的SNN。但是，目前这些方法虽然达到了较高的精度，但是却需要大量的时间步长来满足无损失的要求，同时也发放了大量的脉冲，这极大影响了SNN的高效、节能性应用。

发明内容

本发明的目的在于克服现有技术的不足,提出了基于增强脉冲的深层双阈值脉冲神经网络转换训练方法。

本发明通过增强脉冲概念，随后提出能处理增强脉冲的双阈值增强脉冲神经元模型，最后提出了一种新的基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，并提出了为转化后得到的脉冲神经元阈值赋值的简单算法。利用我们的方法得到的深层SNN更准确、更高效、更节能，为以脉冲为基础的准确高效神经形态计算奠定了基础。

本发明提出了新的增强脉冲的概念。常见脉冲为二值形式，只能表示在这个时刻点发放脉冲与否的状态。与二值脉冲不同，增强脉冲扩充了一个脉冲值的概念，用来表示在脉冲时刻点发放脉冲的数量或强度，其可为任何形式的数值。增强脉冲极大提高了单个脉冲对信息的表达量。

随后，本发明提出了双阈值增强脉冲神经元模型，其能够接收、处理和发放增强脉冲。本发明提出的双阈值概念也使得神经元可以发放不同极性的脉冲，提高了脉冲的信息表示能力。

双阈值增强脉冲神经元动力学公式：

其中是第l层的第i个神经元t时刻的膜电位，是第l-1层的第j个神经元t时刻的输出，w_ij是前一层第j个神经元与l层第i个神经元之间的权值，M^l-1代表了第l-1层的脉冲神经元个数，是对应的偏差量，和分别代表了脉冲神经元的正阈值和负阈值。公式(1)说明了脉冲神经元膜电位的整合情况，公式(2)描述了增强脉冲的发放情况，公式(3)给出了当脉冲发放时膜电位的衰减情况。