[发明专利]脉冲神经网络中神经元的信号处理方法及该网络训练方法

说明书

本发明公开了一种脉冲神经网络中神经元的信号处理方法及该网络训练方法。不同于目前普遍使用的单脉冲机制，其被设计成多脉冲机制。该神经元的信号处理方法包括：接收步骤：至少一个所述神经元接收至少一路输入脉冲序列；累积步骤：基于所述至少一路输入脉冲序列加权求和，获得膜电压；激活步骤：当所述膜电压超过阈值后，基于所述膜电压与所述阈值的比值确定该神经元激发的脉冲的幅度。为解决日益增长的配置参数规模带来的训练算法耗时、低效问题，通过多脉冲机制、周期指数函数代理梯度、添加抑制神经元活跃程度作为损失等技术手段，实现了脉冲神经网络高效训练，仍能维持拟神态硬件低功耗，还带来了精度、收敛速度提升等方面的技术效果。

技术领域

本发明涉及一种脉冲神经元，具体涉及一种脉冲神经网络中神经元的信号处理方法及该网络训练方法。

背景技术

脉冲神经网络（spiking neural network, SNN）是当前最佳的模拟生物神经工作原理的神经网络。但是限于其内在的不连续性和非线性机制，很难为SNN构造出高效的监督学习算法，而这又是该领域一个十分重要的课题。脉冲生成函数是不可微分的，所以传统标准的误差反向传播算法不能与SNN直接兼容。一种流行的途径是使用代理梯度去解决这个问题，比如现有技术1:

现有技术1：Shrestha S B, Orchard G. Slayer: Spike layer errorreassignment in time[J]. arXiv preprint arXiv:1810.08646, 2018.

然而这类技术在每个时间步上仅支持单脉冲机制，对于诸如DVS数据等具有极高时间分辨率输入的脉冲数据，使用单脉冲机制将导致极大的、不可承受的模拟时间步数量，这将会导致面对复杂任务时，尤其是面对日益增长的配置参数规模，单脉冲机制的网络训练方式将变得极其低效。

为了解决/缓解上述技术问题，本发明提出一种在一个模拟时间步上能产生多个脉冲的自动可微分脉冲神经元模型和训练方法，该种模型/训练方法能够极大提升训练效率。

发明内容

为提升脉冲神经网络训练效率，本发明通过如下方式实现该目的：

一种脉冲神经网络中神经元的信号处理方法，该脉冲神经网络包括若干层，每一所述的层包括若干所述的神经元，其特征在于，该信号处理方法包括如下步骤：

接收步骤：至少一个所述神经元接收至少一路输入脉冲序列；

累积步骤：基于所述至少一路输入脉冲序列加权求和，获得膜电压；

激活步骤：当所述膜电压超过阈值后，基于所述膜电压与所述阈值的比值确定该神经元激发的脉冲的幅度。

在某类实施例中：所述基于所述膜电压与所述阈值的比值确定该神经元激发的脉冲的幅度，具体为：在单个模拟时间步，激发的脉冲的幅度与所述膜电压与所述阈值的比值相关。

在某类实施例中：所述基于所述膜电压与所述阈值的比值确定该神经元激发的脉冲的幅度，具体为：

在单个模拟时间步，激发的脉冲的幅度与单位脉冲幅度的比值，等于所述膜电压与所述阈值的比值向下取整的值。

在某类实施例中：所述的基于所述至少一路输入脉冲序列加权求和，获得膜电压，具体包括：基于后突触电位核与每路输入脉冲序列卷积后加权求和，获得膜电压。

在某类实施例中：所述的基于所述至少一路输入脉冲序列加权求和，获得膜电压，具体包括：基于后突触电位核与每路输入脉冲序列卷积后加权求和，以及不应期核与所述神经元输出脉冲序列的卷积，获得膜电压。

在某类实施例中：