[发明专利]一种神经网络训练方法及装置

权利要求书

1.一种神经网络训练方法，应用于忆阻器开关阵列，其特征在于，所述方法包括：

获取第一权重矩阵；所述第一权重矩阵的元素G_ij为所述忆阻器开关阵列中第i行第j列的忆阻器开关的电导值；

将所述第一权重矩阵中绝对值小于或者等于预设门限的元素进行剪枝操作获取第二权重矩阵；

对于所述第二权重矩阵的每个元素加噪音获取第三权重矩阵；所述第二权重矩阵的第i行第j列元素的噪音为所述忆阻器开关阵列中第i行第j列的忆阻器开关的器件噪音分布值；

根据输入向量与所述第三权重矩阵进行前向传播获取第一向量；所述输入向量为所述忆阻器开关阵列的输入电压向量；

将所述第一向量与目标向量进行比较，获得损失值；

根据所述损失值与所述第一权重矩阵进行反向传播，修正所述第一权重矩阵中每个元素的值，获取目标权重矩阵。

2.根据权利要求1所述的神经网络训练方法，其特征在于，所述方法还包括：

设置与所述第一权重矩阵对应的第一覆盖矩阵，所述第一覆盖矩阵与所述第一权重矩阵的维度相同且所述第一覆盖矩阵为全1矩阵；

将所述第一覆盖矩阵中与所述第一权重矩阵中被剪枝的元素相同位置的元素进行剪枝操作获取第二覆盖矩阵；

将所述目标权重矩阵与所述第二覆盖矩阵相乘的结果作为下一次神经网络训练的预设权重矩阵。

3.根据权利要求1或2所述的神经网络训练方法，其特征在于，所述第二权重矩阵的每个元素对应的噪音的分布为正态分布，所述正态分布的标准差为：

y＝-0.0006034*x*x+0.06184*x+0.7240；其中，x表示所述第二权重矩阵的每个元素对应的忆阻器开关的电导值，y表示所述正态分布的标准差。

4.根据权利要求1-3任意一项所述的神经网络训练方法，其特征在于，所述预设门限是根据剪枝率确定的。

5.根据权利要求1-4任意一项所述的神经网络训练方法，其特征在于，所述剪枝操作包括：将需要剪枝的元素设置为0。

6.一种神经网络训练装置，其特征在于，包括：

获取模块，用于获取第一权重矩阵；所述第一权重矩阵的元素G_ij为忆阻器开关阵列中第i行第j列的忆阻器开关的电导值；

剪枝模块，用于将所述第一权重矩阵中绝对值小于或者等于预设门限的元素进行剪枝操作获取第二权重矩阵；

加噪模块，用于对于所述第二权重矩阵的每个元素加噪音获取第三权重矩阵；所述第二权重矩阵的第i行第j列元素的噪音为所述忆阻器开关阵列中第i行第j列的忆阻器开关的器件噪音分布值；

前向传播模块，用于根据输入向量与所述第三权重矩阵进行前向传播获取第一向量；所述输入向量为所述忆阻器开关阵列的输入电压向量；

前向传播模块，还用于将所述第一向量与目标向量进行比较，获得损失值；

反向传播模块，用于根据所述损失值与所述第一权重矩阵进行反向传播，修正所述第一权重矩阵中每个元素的值，获取目标权重矩阵。

7.根据权利要求6所述的神经网络训练装置，其特征在于，所述装置还包括设置模块：

所述设置模块，用于设置与所述第一权重矩阵对应的第一覆盖矩阵，所述第一覆盖矩阵与所述第一权重矩阵的维度相同且所述第一覆盖矩阵为全1矩阵；

所述剪枝模块，还用于将所述第一覆盖矩阵中与所述第一权重矩阵中被剪枝的元素相同位置的元素进行剪枝操作获取第二覆盖矩阵；

所述设置模块，还用于将所述目标权重矩阵与所述第二覆盖矩阵相乘的结果作为下一次神经网络训练的预设权重矩阵。

8.根据权利要求6或7所述的神经网络训练装置，其特征在于，所述第二权重矩阵的每个元素对应的噪音的分布为正态分布，所述正态分布的标准差为：

y＝-0.0006034*x*x+0.06184*x+0.7240；其中，x表示所述第二权重矩阵的每个元素对应的忆阻器开关的电导值，y表示所述正态分布的标准差。