[发明专利]脉冲神经网络的训练方法和训练装置

说明书

本申请提供了一种脉冲神经网络的训练方法和训练装置，可以通过长时控制和短时控制的方式实现脉冲神经网络的归一化，从而提高脉冲神经网络的训练效果。该训练方法包括：基于时序方式，将训练数据输入至脉冲神经网络的输入层，逐层对该脉冲神经网络进行训练，直至得到该脉冲神经网络的输出层的输出结果，其中，在t时刻，该控制神经元的输入包括：第i层神经元中的至少一个其他神经元在t时刻的输出、该至少一个其他神经元在t‑1时刻的输出以及该控制神经元在t‑1时刻的输出；基于该输出结果，确定该脉冲神经网络的误差；基于该误差，更新该脉冲神经网络的连接权重，并继续对该脉冲神经网络进行训练，直至该脉冲神经网络收敛。

技术领域

本申请涉及人工智能领域，更具体地，涉及一种脉冲神经网络的训练方法和训练装置。

背景技术

神经网络是一种模仿生物大脑结构进行数据处理的计算系统。在人工神经网络(artificial neural network，ANN)中，信息的传输通过模拟数值进行，每一个神经元通过乘加运算累积前序神经元的数值，经过激活函数后传递到后序神经元。在脉冲神经网络(spiking neural network，SNN)中，每一个神经元通过累积前序神经元的脉冲序列进行膜电压的调控，当膜电压达到一定阈值后，神经元会输出新的脉冲序列并传输至后序神经元，以此实现信息的传输、处理和非线性转化。

对于某个给定的任务和数据，需要通过一定的网络训练方法使得网络的输出结果达到预期的输出。为了避免使用随机梯度下降(stochastic gradient decent，SGD)算法对网络进行训练所导致的网络过拟合和梯度爆炸等问题，需要在网络训练的过程中加入一些归一化(normalization)的方法，使得训练过程更加平滑，训练效果更好。

目前已经发展了一些适用于ANN的归一化方法，例如丢弃(dropout)和批归一化(batch normalization，BN)，但由于SNN的神经元的模型和信息传输方式与ANN的神经元的模型和信息传输方式均不同，直接使用ANN的归一化方法(dropout或BN)无法提高SNN的训练效果。因此，目前亟需提供一种SNN的训练方法，以实现SNN的归一化。

发明内容

本申请提供一种脉冲神经网络的训练方法和训练装置，可以通过长时控制和短时控制的方式实现SNN的归一化，从而提高SNN的训练效果。

第一方面，提供了一种脉冲神经网络的训练方法，应用于包括多层神经元的脉冲神经网络，该脉冲神经网络的第i层神经元包括控制神经元，该控制神经元与该脉冲神经网络中的其他神经元连接，该控制神经元用于归一化该脉冲神经网络的输出层的输出结果，该方法包括：

基于时序方式，将训练数据输入至该脉冲神经网络的输入层，逐层对该脉冲神经网络进行训练，直至得到该脉冲神经网络的输出层的输出结果，其中，在t时刻，该控制神经元的输入包括：第i层神经元中的至少一个其他神经元在t时刻的输出、该至少一个其他神经元在t-1时刻的输出以及该控制神经元在t-1时刻的输出；基于该输出结果，确定该脉冲神经网络的误差；基于该误差，更新该脉冲神经网络的连接权重，并继续对该脉冲神经网络进行训练，直至该脉冲神经网络收敛。

在本申请实施例中，通过在原有的脉冲神经网络框架中的一层或多层中添加控制神经元，可以建立控制神经元与同层其他神经元在当前时刻(t时刻)的连接、建立控制神经元与同层其他神经元在上一时刻(t-1时刻)的连接以及建立控制神经元与自身在上一时刻(t-1时刻)的连接，以此利用控制神经元的输入输出控制脉冲神经网络训练时输出层的归一化，有利于提高网络训练的精度和收敛速度。

结合第一方面，在第一方面的某些实现方式中，第i层神经元在膜电压超出阈值时的输出包括第i层神经元中的控制神经元在膜电压超出所述阈值时的输出。