[发明专利]神经网络模型的训练方法、应用方法及装置

说明书

本申请实施例提供一种神经网络模型的训练方法、应用方法及装置，其中，该神经网络模型为基于忆阻器的二值化卷积神经网络；能够将忆阻器的非理想特性使用高斯噪声代替，通过向由0，1构成的权重矩阵中施加高斯噪声来模拟具有非理想特性的二值忆阻器，利用施加噪声后的权重矩阵对二值化卷积神经网络进行训练，在解决使用忆阻器所面临的阵列良率、阻值波动以及器件噪声所引起的卷积神经网络数据不可靠的问题中，可以通过直接在忆阻器阵列中进行在线训练的方式(直接将忆阻器的非理想特性包含在网络的训练过程中)以增强神经网络的鲁棒特性和收敛准确特性。

技术领域

本发明涉及网络模型训练的技术领域，尤其是涉及一种神经网络模型的训练方法、应用方法及装置。

背景技术

卷积神经网络是用于解决视觉问题的最优秀的算法之一，因其在图像分类、目标检测、以及图像识别等各类任务中表现出了的杰出性能而受到研究人员的广泛关注。与此同时，为了加强网络的性能，卷积神经网络架构的深度和宽度也在持续增加，这要求设备必须具备大量的存储单元、强大的中央处理单元以及高带宽。但是这对于面积和系统资源受限的便携式设备而言是不切实际的。因此，将卷积神经网络算法移植到可移动设备当中以实现边缘计算具有很大的挑战。

幸运的是，一种神经形态器件——忆阻器，在实现卷积神经网络算法方面展现了巨大的前景，因为它具有低功耗、优越的非挥发存储性能以及纳米级尺寸等特性。

然而，由于忆阻器的制造工艺还不成熟，忆阻器阵列中具有的低阵列良率和阻值波动等非理想特性阻碍了卷积神经网络的发展。虽然将忆阻器作为二值器件使用以构建二值化卷积神经网络能够在一定程度上消除器件缺陷对基于忆阻器的卷积神经网络性能的影响，但是，低阵列良率和高的阻值波动特性严重降低了网络的识别率，进而降低了网络的收敛准确度和网络鲁棒性。

发明内容

有鉴于此，本发明的目的在于提供一种神经网络模型的训练方法、应用方法及装置，有效缓解了低阵列良率和高的阻值波动，从而提高了网络的收敛准确度和网络鲁棒性。

第一方面，本发明实施例提供了一种神经网络模型的训练方法，其中，该神经网络模型为基于忆阻器的二值化卷积神经网络；上述方法包括：对于每个训练周期，利用训练样本对神经网络模型进行预训练，得到神经网络模型对应的权重矩阵；其中，权重矩阵包括多个网络节点对应的权重值；对权重矩阵中的每个权重值进行改写操作，得到改写权重矩阵；其中，改写权重矩阵中的每个权重值为-1或1；将改写权重矩阵拆分成第一权重矩阵和第二权重矩阵；其中，第一权重矩阵中的第一权重值与改写权重矩阵中的权重值相同，第二权重矩阵中的第二权重值与改写权重矩阵中的权重值互为相反数；基于预设的第一转换函数和高斯噪声函数对第一权重矩阵进行转换，得到第一新权重矩阵；基于预设的第二转换函数和高斯噪声函数对第二权重矩阵进行转换，得到第二新权重矩阵；根据第一新权重矩阵和第二新权重矩阵计算得到第三新权重矩阵；基于第三新权重矩阵和训练样本对神经网络模型继续进行训练，直到本轮训练周期的次数达到预设值或者训练损失值达到预设训练损失阈值为止。

结合第一方面，本发明实施例提供了第一方面的一种可能的实施方式，其中，对权重矩阵中的每个权重值进行改写操作的步骤，包括：将权重矩阵中的每个权重值作为目标权重值，对于每个目标权重值均执行以下操作：判断目标权重值是否小于或等于第一预设值；如果是，将目标权重值改写为-1；如果否，将目标权重值改写为1。

结合第一方面，本发明实施例提供了第一方面的二种可能的实施方式，其中，基于预设的第一转换函数和高斯噪声函数对第一权重矩阵进行转换，得到第一新权重矩阵的步骤，包括：利用预设的第一转换函数对第一权重矩阵进行转换，得到第一转换权重矩阵，其中，第一转换权重矩阵中的每个权重值为0或1；将高斯噪声函数生成的高斯噪声值添加至第一转换权重矩阵中，得到第一新权重矩阵。

结合第一方面，本发明实施例提供了第一方面的三种可能的实施方式，其中，第一转换函数为：若数值小于或等于第二预设值时，将数值转换成0；若数值大于第二预设值时，将数值转换成1。