[发明专利]一种神经网络训练方法及装置

说明书

本申请实施例公开了一种神经网络训练方法及装置，涉及神经网络领域。能够在保证神经网络精度的情况下，压缩网络模型，减小忆阻器器件噪音对神经网络的准确性的影响。该方法可以包括：将第一权重矩阵中绝对值小于或者等于预设门限的元素进行剪枝操作获取第二权重矩阵；对于第二权重矩阵的每个元素加噪音获取第三权重矩阵；将根据第三权重矩阵进行前向传播的结果与目标值进行比较，获得损失值；根据损失值与第一权重矩阵进行反向传播获取目标权重矩阵；其中第一权重矩阵为预设权重矩阵。

技术领域

本申请涉及神经网络领域，尤其涉及一种神经网络训练方法及装置。

背景技术

近年来，神经网络(neural network，NN)计算取得了突破性进展，在图像识别、语言识别、自然语言处理等诸多领域均取得了很高的准确率。然而神经网络需要海量计算资源，传统的通用处理器已经很难满足深度学习的计算需求，设计专用芯片已经成为了一个重要的发展方向。忆阻器具有高密度、非易失、低功耗、存算合一、易于3D等优点，为神经网络芯片设计提供了一种高效的解决方案。忆阻器阵列作为神经网络加速芯片，以加速矩阵乘法运算为主要的设计目标，整个过程在模拟电路下实现，具有速度快，面积小的优点。

但是，忆阻器器件在实际应用中，存在噪音的问题，即设置的忆阻器电导值并不精确的等于所需要的值，而是落在期望值附近的一个分布中。噪声的来源有几个方面，比如，器件本身的特性，模拟计算自身的噪音以及设置忆阻器电导值至期望值过程中的局限性。如何降低忆阻器器件噪声对神经网络的准确性的影响，是亟待解决的问题。

发明内容

本申请实施例提供一种神经网络训练方法及装置，能够在保证神经网络精度的情况下，压缩网络模型，减小忆阻器器件噪音对神经网络的准确性的影响。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，本申请提供了一种神经网络训练方法及装置。

在一种可能的设计中，该方法可以包括：将第一权重矩阵中绝对值小于或者等于预设门限的元素进行剪枝操作获取第二权重矩阵；对于第二权重矩阵的每个元素加噪音获取第三权重矩阵；将根据第三权重矩阵进行前向传播的结果与目标值进行比较，获得损失值；根据损失值与第一权重矩阵进行反向传播获取目标权重矩阵；其中第一权重矩阵为预设权重矩阵。在该方法中，对权重矩阵进行剪枝操作和加噪音处理，通过剪枝操作改变了神经网络权重分布，使得大部分权重值落在噪音值相对较小的表示区间，从而可以减小神经网络的整体噪音，提升神经网络的准确度。

在一种可能的设计中，设置与第一权重矩阵对应的第一覆盖矩阵，第一覆盖矩阵与第一权重矩阵的维度相同且第一覆盖矩阵为全1矩阵；将第一覆盖矩阵中与第一权重矩阵中被剪枝的元素相同位置的元素进行剪枝操作获取第二覆盖矩阵；将目标权重矩阵与第二覆盖矩阵相乘的结果作为下一次神经网络训练的预设权重矩阵。这样可以保证被剪枝的元素在多次训练过程中保持为0，即保证噪音较大的表示区间被剪枝。

在一种可能的设计中，第二权重矩阵的每个元素对应的噪音的分布为正态分布，正态分布的标准差为：y＝-0.0006034*x*x+0.06184*x+0.7240；其中，x表示第二权重矩阵的每个元素的值，y表示正态分布的标准差。

在一种可能的设计中，预设门限是根据剪枝率确定的。

在一种可能的设计中，剪枝操作包括：将需要剪枝的元素设置为0。

相应的，本申请还提供了一种神经网络训练装置，该装置可以实现第一方面所述的神经网络训练方法。例如，该装置可以是神经网络或应用于神经网络中的装置，还可以是其他能够实现上述神经网络训练方法的装置，其可以通过软件、硬件、或者通过硬件执行相应的软件实现上述方法。