[发明专利]一种保持量化推理与训练端数据一致性的方法

说明书

本发明提供一种保持量化推理与训练端数据一致性的方法，所述方法包括以下步骤：S1，求取float数据的权重；S2，求取整个权重数据的最大值，由于权重的数据既有正数与负数，所以对权重求取绝对值abs()函数的最大值，权重除以最大值，数值分布于‑1,1之间；S3，在GPU训练端对数据进行量化时，对数据进行截取4位操作；S4，输入round()函数操作乘以128数值，由于int8数值取值范围为‑128到127，所以选择128数值进行相乘；S5，进行最后一步的clip(‑128,127)函数，最终使得模型由float数据量化至‑128到127之间的离散数据。本方法基于对权重量化时结果不一致的分析，提出对权重数据的处理，降低模型推理与训练数据之间的差异性，确保板端数据结果的正确。

技术领域

本发明涉及神经网络技术领域，特别涉及一种保持量化推理与训练端数据一致性的方法。

背景技术

随着模型预测(predication)越来越准确，网络越来越深，神经网络消耗的内存大小成为问题，尤其是在移动设备上的应用，例如北京君正集成电路股份有限公司(简称：北京君正)的板端T31系列芯片。通常情况下，板端flash大小容量很小，模型大小不仅是内存容量问题，也是内存带宽问题。模型在每次预测时都会使用模型的权重(weights)，而图像相关的应用程序通常需要实时处理数据。因此对权重的低bit量化很重要，量化能够大幅度缩减模型的大小，float量化至8bit，模型大小可以减少4倍，从而大幅度提高网络的运行速度；

但是量化时由于网络训练与推理在不同的设备上(GPU、CPU)，导致量化出来的结果不一致，使得训练模型在板端推理侧结果的不一致性；

现有技术中对权重(weight)float 32bit进行量化时，由于GPU端与推理端CPU精度不一致性(一般GPU与CPU精度不一致是在小数点后7位存在)，导致模型存在量化时结果不一致性，使得推理端误差加大。

此外，现有技术中常用的术语包括：

低比特量化：将权重和feature有32bit位宽(float)量化至(8bit、4bit、2bit)。

网络训练：定义神经网络的结构和前向传播的输出结果，并且定义损失函数以及选择反向传播优化的算法，通过BP算法，对网络进行梯度传播、优化，在训练数据上反复运行反向传播优化算法，从而使得网络适应数据集。

量化推理：训练端的网络权值已固定下来，无后向传播过程，因此可以模型固定，同时由于推理时模型已经固定，可以对固定模型进行优化，正常情况下采用浮点数进行推理，但浮点推理的模型大小及时间要求很高，因此对模型进8位整形的量化，加速网络的推理，降低板端的模型内存占用。

训练与推理量化数据一致性：训练端是基于tensorflow、pytorch或者mxnet相关训练框架在GPU上进行网络最优化，推理是基于C++在板端CPU上进行推理；训练与量化推理由于GPU与CPU精度不一致，同时量化时由于添加round操作，从而存在训练与推理端数据不一致问题，影响网络推理端的数据不一致性，降低网络模型推理时的精度。

clip()函数：用于将数组中的元素控制在一个给定的范围内，给定需要控制的范围的上下边界，clip函数将所有小于下边界的数值全部改为下边界，将大于上边界的数值全部改为上边界。

round函数返回一个数值，该数值是按照指定的小数位数进行四舍五入运算的结果。

发明内容

为了解决上述问题，本方法的目的在于：基于对权重量化时结果不一致的分析，提出对权重数据的处理，降低模型推理与训练数据之间的差异性，确保板端数据结果的正确。

具体地，本发明提供一种保持量化推理与训练端数据一致性的方法，所述方法包括以下步骤：

S1，求取float数据的权重；