[发明专利]神经网络的权值的量化方法、量化装置及存储介质

权利要求书

1.一种用于神经网络的权值的量化方法，所述神经网络基于交叉阵列模拟存内计算系统实现，所述方法包括：

获取所述权值的分布特性；以及

根据所述权值的分布特性，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差。

2.根据权利要求1所述的方法，其中，根据所述权值的分布特性，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差，包括：

获取候选分布库，所述候选分布库存储有多个分布模型；

根据所述权值的分布特性，从所述候选分布库中选择与所述分布特性相对应的分布模型；以及

根据所选的分布模型，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差。

3.根据权利要求1所述的方法，还包括：

使用所述初始量化参数对所述权值进行量化以得到经量化权值；以及

使用所述经量化权值对所述神经网络进行训练，并基于训练结果更新所述权值以得到经更新权值。

4.根据权利要求1所述的方法，还包括：

使用所述初始量化参数对所述权值进行量化以得到经量化权值；

向所述经量化权值添加噪声以得到经加噪权值；以及

使用所述经加噪权值对所述神经网络进行训练，并基于训练结果更新所述权值以得到经更新权值。

5.根据权利要求3或4所述的方法，其中，对所述神经网络进行训练，并基于训练结果更新所述权值以得到经更新权值，包括：

对所述神经网络进行前向传播和反向传播；以及

使用所述反向传播得到的梯度更新所述权值，以得到所述经更新权值。

6.根据权利要求5所述的方法，还包括：

基于所述经更新权值，更新所述初始量化参数。

7.根据权利要求6所述的方法，其中，基于所述经更新权值，更新所述初始量化参数，包括：

判断所述经更新权值是否与所述初始量化参数匹配，

如果匹配，则不更新所述初始量化参数，

如果不匹配，则更新所述初始量化参数。

8.根据权利要求7所述的方法，其中，判断所述经更新权值是否与所述初始量化参数匹配，包括：

对所述经更新权值和所述初始量化参数进行匹配运算，以得到匹配运算结果；以及

将所述匹配运算结果与阈值范围进行比较，

如果所述匹配运算结果在所述阈值范围内，则判断所述经更新权值与所述初始量化参数匹配；

如果所述匹配运算结果不在所述阈值范围内，则判断所述经更新权值与所述初始量化参数不匹配。

9.一种用于神经网络的权值的量化装置，所述神经网络基于交叉阵列模拟存内计算系统实现，其中，所述装置包括第一单元和第二单元，

所述第一单元被配置为获取所述权值的分布特性；

所述第二单元被配置为根据所述权值的分布特性，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差。

10.根据权利要求9所述的装置，还包括第三单元和第四单元，

所述第三单元被配置为使用所述初始量化参数对所述权值进行量化，以得到经量化权值；

所述第四单元被配置为使用所述经量化权值，对所述神经网络进行训练，并基于训练结果更新所述权值，以得到经更新权值。