[发明专利]数据驱动的深度神经网络量化方法、系统、介质和设备

说明书

本发明涉及深度神经网络的量化推理，具体提供一种数据驱动的深度神经网络量化方法、系统、介质和设备，旨在解决现有量化方法无法准确判断最佳截断值的问题。为此目的，本发明的方法包括：准备校准数据集；选择所述深度神经网络的需要量化的层；针对所选择的层，以校准数据的误差函数最小为目标，以scale和zero_point值为变量，使用最优化算法逐层进行迭代，从而获得最佳的scale和zero_point值；基于所述最佳的scale和zero_point值对所述深度神经网络进行量化。本发明的方法通过误差结果的比较来进行最佳截断值的选取，避免了现有统计学量化方法可能导致的假最优问题。

技术领域

本发明涉及深度神经网络的量化推理，具体提供一种数据驱动的深度神经网络量化方法、系统、存储介质和计算机设备。

背景技术

人工神经网络(Artificial Neural Network，ANN)是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。深度神经网络(Deep Neural Network，DNN)是指内部包含多个层的神经网络，其是机器学习(ML,Machine Learning)领域中的一种重要技术。

与深度神经网络相关的操作包括训练、推理和量化。训练是指向深度神经网络中输入足够多的样本，通过一定算法来调整网络结构(主要是调整权值)，使深度神经网络的输出与预期值相符。推理是指将一个预先训练好的深度神经网络模型部署到实际业务场景中，如图像分类、物体检测、在线翻译等。由于推理直接面向用户，因此，推理性能至关重要，尤其对于企业级产品而言更是如此。为此，通过压缩模型尺寸来提高运算速度就变成一种实际的需求，而量化就是一种典型的模型压缩方法，其是通过将浮点参数转化为定点参数来降低运算精度并因此压缩模型和提升运算速度。

现有的量化方法在诸多神经网络架构上取得了突出的成果，但是或多或少存在以下几个问题：(1)保留部分网络结构不量化：现有的一些权值量化算法，尤其是超低比特的量化算法，为了减少权值量化带来的性能损耗，往往将第一层和最后一层的参数保持全精度浮点数，只量化中间层，这样不仅量化压缩比不高，整个网络的优化过程还需要利用两套数值精度的参数进行计算，大大影响了神经网络的运算速度。(2)一次性量化全部参数带来的性能损失较大：现有的另一些权值量化算法是基于一定的量化准则，一次性将神经网络中的所有待量化参数进行量化处理，这种做法没有循序渐进的过程，导致量化后的神经网络表达能力不强。(3)权值参数的分组不合理：为了克服一次性量化全部参数带来的弊端，另外一些量化算法提出了渐进式权值量化的思想，但是其权值参数分组策略过于简单，例如，随机分组和按照L1-norm进行分组，这些分组策略并没有充分探讨权值参数的重要性，所以，基于这些分组的渐进式权值量化算法的性能还有待提升。

基于以上问题，目前业界所公布的静态量化方法有如下几种解决方案：(a)MIN_MAX方法：直接选取校准数据集中可能出现的最大值和最小值作为最终的截断值，并由此计算出最终的scale(收缩因子)和zero_point(零点)的值。具体而言，使用所有数据集将整个网络运行一次，收集每个网络层中出现的最大值和最小值，然后根据下列等式计算出scale和zero_point的值：zero_point＝(min_val+max_val)/2，scale＝255*(min_val和max_val中绝对值更大的值)。(b)KL散度(方法)：Nvidia公司开源实现了一种对量化前和量化后的数据分布求最小化相对熵(K-L散度)的方法来求量化因子，其中包含了模型参数和各层激活值(activation)的量化。但是，Nvidia的方法是一种基于统计学意义上的量化方法，其截断值可能不是真实的最优截断值。具体而言，这种基于统计学的方法更多讨论的是数据的分布，通过数据分布来猜测最终的效果，但是对于不同的神经网络，这类方法有时并不奏效。

相应地，本领域需要一种新的量化方法来解决上述问题。

发明内容