[发明专利]神经网络模型量化方法、系统、装置及计算机可读介质

说明书

本发明公开了神经网络模型量化方法、系统、装置及计算机可读介质，属于神经网络技术领域，要解决的技术问题为如何避免在推理时计算激活值量化因子。包括如下步骤：构建神经网络模型，并对神经网络模型进行训练；对于目标模型，通过计算模型权重绝对值最大值，基于量化范围计算模型权重量化因子；对于目标模型的每一层，通过最小化均方误差，计算目标模型每层的激活值量化因子；对于目标模型的每一层，通过量化后的定点类型的权重和激活值进行模型推理，并将推理结果逆量化为int32数据类型；对于目标模型的每一层，通过非对称量化的方式对每个算子进行量化，将浮点类型模型权重量化成int8数据类型，并将激活值量化成uint8数据类型。

技术领域

本发明涉及神经网络技术领域，具体地说是神经网络模型量化方法、系统、装置及计算机可读介质。

背景技术

近年来，神经网络模型被广泛应用在许多领域，并取得了非常好的效果。但是，神经网络模型由于模型复杂度高、模型大，导致推理时效率较低，推理时间较长，尤其是运行在性能较低的移动设备以及低功耗设备。因此，如何设计低资源消耗的，可以实时预测的、同时保证预测精度的模型成为一个现实问题。在类似于单片机的低功耗设备上，需要低资源消耗的模型。在对实时性要求高的领域，如语音识别、自动驾驶，要求可以实时预测的模型。针对该问题，一般可以从设计高效的模型架构、设计适合特定硬件的模型架构、网络剪枝、知识蒸馏以及模型量化等方面入手。其中，模型量化在该问题取得了较好的效果，将模型从浮点类型量化成定点类型可以有效降低模型大小，同时提高模型推理速度。

为了提高模型推理速度，如何避免在推理时计算激活值量化因子，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供神经网络模型量化方法、系统、装置及计算机可读介质，来解决如何避免在推理时计算激活值量化因子的技术问题。

第一方面，本发明的神经网络模型量化方法，在神经网络模型进行推理之前，通过最小化方程计算神经网络模型每层的激活值量化因子，所述方法包括如下步骤：

构建神经网络模型，并对神经网络模型进行训练，得到浮点类型的神经网络模型作为目标模型；

对于目标模型，通过计算模型权重绝对值最大值，基于量化范围计算模型权重量化因子；

对于目标模型的每一层，通过最小化均方误差，计算目标模型每层的激活值量化因子；

对于目标模型的每一层，通过量化后的定点类型的权重和激活值进行模型推理，并将推理结果逆量化为int32数据类型；

对于目标模型的每一层，通过非对称量化的方式对每个算子进行量化，将浮点类型模型权重量化成int8数据类型，并将激活值量化成uint8数据类型，得到最终量化后模型。

作为优选，对于目标模型，模型权重量化为int8类型，量化范围为[-128,127]。

作为优选，获取测试数据集，基于测试数据集计算目标模型每层量化后输出以及不量化后输出的均方误差，通过最小化均方误差得到激活值量化因子。

作为优选，所述均方误差公式为：

其中，y_i表示不量化输出，表示量化后输出。

第二方面，本发明的神经网络模型量化系统，用于在神经网络模型进行推理之前，通过最小化方程计算神经网络模型每层的激活值量化因子，所述系统包括：

构建训练模块，所述构建训练模块用于构建神经网络模型，并对神经网络模型进行训练，得到浮点类型的神经网络模型作为目标模型；

量化因子计算模块，所述量化因子计算模块应用于目标模型，用于通过计算模型权重绝对值最大值，基于量化范围计算模型权重量化因子；