[发明专利]神经网络量化方法、装置及设备

权利要求书

1.一种神经网络量化方法，其特征在于，包括：

在预训练神经网络模型中，确定每层的权重和激活值的值域范围；

根据所述值域范围，确定备选量化算法以及初始量化参数；所述备选量化算法中包括至少一种预设量化算法；

基于所述备选量化算法训练所述初始量化参数，得到第一量化参数以及第一量化模型；

若所述第一量化模型的精度大于或者等于预设精度阈值，将所述第一量化参数确定为目标量化参数，并且将所述第一量化模型确定为目标量化模型。

2.根据权利要求1所述的方法，其特征在于，所述确定每层的权重和激活值的值域范围，包括：

以预设校准数据集为输入，对所述预训练神经网络模型进行浮点推理，确定每层的第一数值分布；

根据所述第一数值分布，确定出每层的权重和激活值的值域范围。

3.根据权利要求1所述的方法，其特征在于，所述基于所述备选量化算法训练所述初始量化参数，得到第一量化参数以及第一量化模型，包括：

确定训练数据集；

以所述训练数据集为输入，采用初始量化参数对所述预训练神经网络模型进行训练，得到所述第一量化参数以及所述第一量化模型。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一量化模型的精度小于预设精度阈值，重新确定备选量化算法以及初始量化参数并进行训练，直至所述第一量化模型满足预设精度阈值。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定验证数据集，并以验证数据集为输入，统计所述目标量化模型每层的第二数值分布；

基于所述第二数值分布与所述第一数值分布，确定量化误差并生成误差分布表。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

以验证数据集为输入，对目标量化模型进行推理，获取推理结果；

确定推理结果错误时对应的错误样本，并确定所述错误样本在所述目标量化模型中的第一逐层计算结果；

获取所述错误样本在所述预训练神经网络模型中的第二逐层计算结果；

根据所述第一逐层计算结果以及所述第二逐层计算结果，生成结果比较表。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述预设量化算法包括对称量化、非对称量化、按通道量化或者预设位数量化。

8.一种神经网络量化装置，其特征在于，包括：

第一确定模块，用于在预训练神经网络模型中，确定每层的权重和激活值的值域范围；

第二确定模块，用于根据所述值域范围，确定备选量化算法以及初始量化参数；所述备选量化算法中包括至少一种预设量化算法；

训练模块，用于基于所述备选量化算法训练所述初始量化参数，得到第一量化参数以及第一量化模型；

第三确定模块，用于若所述第一量化模型的精度大于或者等于预设精度阈值，将所述第一量化参数确定为目标量化参数，并且将所述第一量化模型确定为目标量化模型。

9.一种神经网络量化设备，其特征在于，包括：处理器、存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被执行时用于实现权利要求1至7任一项所述的方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被执行时实现权利要求1至7任一项所述的方法。

12.一种芯片，其特征在于，所述芯片上存储有计算机程序，所述计算机程序被所述芯片执行时，实现如权利要求1至7任一项所述的方法。