[发明专利]神经网络的权值的量化方法、量化装置及存储介质

说明书

一种用于神经网络的权值的量化方法、量化装置及存储介质。神经网络基于交叉阵列模拟存内计算系统实现，量化方法包括：获取权值的分布特性；以及根据权值的分布特性，确定用于量化权值的初始量化参数，以减小量化权值的量化误差。本公开的实施例所提供的量化方法不预先限定所使用的量化方法，而是根据权值的分布特性来确定用于量化权值的量化参数，以减小量化误差，从而使得在相同的映射开销下，神经网络的模型效果更好；另外，在相同的神经网络的模型效果下，映射开销更小。

技术领域

本公开的实施例涉及一种用于神经网络的权值的量化方法、量化装置及存储介质。

背景技术

神经网络模型广泛应用于计算机视觉、语音识别、自然语言处理、强化学习等领域。但是，神经网络模型具有较高的复杂度，从而很难应用于计算速度和功率非常有限的边沿设备(例如，手机、智能传感器、可穿戴设备等)。

一种基于交叉阵列模拟存内计算(Crossbar-enabled analog computing-in-memory，CACIM)系统实现的神经网络可以降低神经网络模型的复杂度，使得神经网络模型可以应用于边沿设备。具体地，CACIM系统包括计算存储单元，可以在数据存储的地方进行数据计算，从而可以节省数据搬运带来的开销。此外，CACIM系统中的计算存储单元可以基于基尔霍夫电流定律和欧姆定律来完成乘加运算，从而可以减小系统的计算开销。

发明内容

本公开至少一实施例提供一种用于神经网络的权值的量化方法，神经网络基于交叉阵列模拟存内计算系统实现，方法包括：获取权值的分布特性；以及根据权值的分布特性，确定用于量化权值的初始量化参数，以减小量化权值的量化误差。

例如，在本公开至少一实施例提供的量化方法中，根据权值的分布特性，确定用于量化权值的初始量化参数，以减小量化权值的量化误差，包括：获取候选分布库，候选分布库存储有多个分布模型；根据权值的分布特性，从候选分布库中选择与分布特性相对应的分布模型；以及根据所选的分布模型，确定用于量化权值的初始量化参数，以减小量化权值的量化误差。

例如，本公开至少一实施例提供的量化方法还包括：使用初始量化参数对权值进行量化以得到经量化权值；以及使用经量化权值对神经网络进行训练，并基于训练结果更新权值以得到经更新权值。

例如，本公开至少一实施例提供的量化方法还包括：使用初始量化参数对权值进行量化以得到经量化权值；向经量化权值添加噪声以得到经加噪权值；以及使用经加噪权值对神经网络进行训练，并基于训练结果更新权值以得到经更新权值。

例如，在本公开至少一实施例提供的量化方法中，对神经网络进行训练，并基于训练结果更新权值以得到经更新权值，包括：对神经网络进行前向传播和反向传播；以及使用反向传播得到的梯度更新权值，以得到经更新权值。

例如，本公开至少一实施例提供的量化方法还包括：基于经更新权值，更新初始量化参数。

例如，在本公开至少一实施例提供的量化方法中，基于经更新权值，更新初始量化参数，包括：判断经更新权值是否与初始量化参数匹配，如果匹配，则不更新初始量化参数，如果不匹配，则更新初始量化参数。

例如，在本公开至少一实施例提供的量化方法中，判断经更新权值是否与初始量化参数匹配，包括：对经更新权值和初始量化参数进行匹配运算，以得到匹配运算结果；以及将匹配运算结果与阈值范围进行比较，如果匹配运算结果在阈值范围内，则判断经更新权值与初始量化参数匹配；如果匹配运算结果不在阈值范围内，则判断经更新权值与初始量化参数不匹配。

本公开至少一实施例还提供一种用于神经网络的权值的量化装置，神经网络基于交叉阵列模拟存内计算系统实现，装置包括第一单元和第二单元，第一单元被配置为获取权值的分布特性；第二单元被配置为根据权值的分布特性，确定用于量化权值的初始量化参数，以减小量化权值的量化误差。