[发明专利]一种忆阻器卷积神经网络权重训练方法及装置

说明书

本申请涉及人工智能网络，具体公开一种忆阻器卷积神经网络权重训练方法及装置，通过若干差分电路构成神经网络硬件系统的忆阻器阵列，每两个器件构成一差分电路，该两器件中至少有一个包括忆阻器；所述方法包括：绑定构成每个差分电路的两器件形成一个神经元；根据两器件的电性参数之差映射神经元的权重；通过施加单步脉冲对神经元权重进行更新，获得神经元权重的更新方向；在权重的更新方向为正向时，对忆阻器施加正向单步脉冲对神经元权重进行再次更新；在权重的更新方向为负向时，对忆阻器施加负向单步脉冲对神经元权重进行再次更新；在所有神经元的权重更新迭代达到收敛条件时，结束迭代完成训练。简化了忆阻神经网络系统的权重更新计算过程并降低该过程中计算资源的消耗。

技术领域

本申请涉及脉冲神经网络技术领域，尤其是涉及一种忆阻器卷积神经网络权重训练方法及装置。

背景技术

忆阻器是一种新型的双端口纳米器件，其电导状态具有一定的记忆特性，因而被称之为记忆型电阻器件(即忆阻器)。忆阻器件阵列可以借助电路的欧姆定律和基尔霍夫定律，进而高性能、低功耗地实现乘法累加的功能，这与神经网络计算体系中的核心运算形式(矩阵乘法)十分匹配，因而忆阻器为神经网络的硬件实现方案提供了新的研究思路，并已得到研究学者们的广泛关注。

如图1所示，是对于神经网络的推理过程(即正向传播)，忆阻器网络可以利用欧姆定律和基尔霍夫定律可以很容易地实现矩阵乘法。对于网络训练过程(反向传播)，可以根据随机梯度下降算法(SGD)计算待更新的权重量，并通过在器件终端施加相应数量的电脉冲来更新突触权值。

但是，忆阻器件及阵列具有几乎无法避免的电导随机波动特性和非线性权重更新特性的缺陷，使其难以直接应用于神经网络的在线学习过程,同时也大幅降低了其在离线推理过程中的准确率。

忆阻器的非线性更新特性，是指在忆阻器的电导-脉冲调制曲线中，其电导的变化量与脉冲数量非线性相关的现象(如下图2所示)。通常而言，给非线性符合指数函数的形式。忆阻器的电导状态函数可以用五个参数表示：Gmax(最大电导值)、Gmin(最小电导值)、Pmax(电导状态数量)、Ap(权重增加LTP过程中的非线性度)-参见图2(a)、Ad(权重降低LTD过程中的非线性度)-参见图2(b)。可用下式表示：

上式中x代表器件的当前状态参数，且0≤x≤Pmax；A在权重增加过程(LTP过程)中等于Ap；在权重减小过程(LTD过程)中等于Ad。

忆阻器神经网络的在线学习方案大体如下图3所示。首先，前向传播计算出误差，再根据标准的神经网络反向传播(back propagation)算法和梯度下降(SGD)算法，计算出当前权重所需的更新量；然后，根据忆阻器器件的非线性更新特性曲线，计算出所需的脉冲数量；紧接着，通过选通手段在该忆阻器两端施加一定数量的电脉冲，以调整忆阻器当前的电导值。

当前基于忆阻器网络的常规学习方案中至少存在有如下缺陷：

1.忆阻器神经网络的常规学习方案过于复杂：网络需要在更新之前计算出所需的电脉冲的数量，这将大大增加系统计算的复杂度，尤其对于大规模的卷积神经网络，其参数量往往数以百万计甚至数以亿计，这一非线性计算过程将消耗巨量的计算资源和能耗。

2.忆阻器网络阵列自身无法完成电脉冲更新这一任务：需要增设大量的外围控制逻辑电路才能得以实施。例如，计算当前所需的权重更新量和脉冲数量往往由安装计算软件的电脑端给出，随后通过matlab和单片机控制器MCU等软、硬件控制手段辅助完成器件的电导权重更新的计算和换算等操作。

3.对于忆阻器自身具有的非线性更新特性没有采用有效措施：施加一定数量的电脉冲进行电导权重更新后，忆阻器的实际电导状态与理想状态具有偏差，导致忆阻器神经网络的学习性能较低。

发明内容