[发明专利]基于分布优化的线性-非线性联合神经网络量化方法

说明书

本发明涉及一种基于分布优化的线性‑非线性联合神经网络量化方法，属于神经网络领域。该方法通过自动学习优化量化数据分布以提升量化数据对浮点数据分布的拟合度，减少量化误差，提升量化网络性能；同时，该方法在目标神经网络中联合实施线性量化策略和非线性量化策略，在提升量化神经网络性能的同时减少量化神经网络训练复杂度，加速模型推理。该方法使用两种不同的训练方式对量化神经网络进行训练，以满足不同应用场景需求。

技术领域

本发明属于神经网络领域，涉及基于分布优化的线性-非线性联合神经网络量化方法。

背景技术

现代深度神经网络的参数量通常在百万级以上，这使得神经网络模型的尺寸巨大，对内存有着极高的需求；同时，网络中数以百万计的参数和隐层特征之间存在大量复杂的浮点运算，带来了难以承受的计算资源开销。这两个问题的存在极大阻碍了深度神经网络在硬件资源有限的边缘设备上的大规模部署应用。神经网络量化是缩减神经网络模型尺寸以及加速神经网络推理计算最有效的方法之一，对神经网络量化方法的研究具有相当重要的意义。神经网络量化旨在利用低精度数据表示网络原有浮点权重和激活，一般来说，现有量化技术可以分为两个类别：线性量化和非线性量化。

线性量化技术将浮点数据线性映射到一组有限的均匀间隔的数值上。2016年，旷视科技提出了一种任意比特量化算法DoReFa-Net,该算法对神经网络权重和激活进行确定性量化，对梯度进行随机量化。2018年，Choi等人提出了一种致力于神经网络激活量化的算法Pact。该算法在ReLU激活函数中加入一个可训练的裁剪上限参数，通过训练该参数以降低量化误差。2019年，商汤科技提出DSQ算法，该算法利用双曲正切函数逼近阶梯函数，使得量化过程变得可微分，降低了梯度误差。2021年，Lee等人提出一种通过缩放量化梯度的方法来弥补梯度失配，以提升量化神经网络训练的稳定性以及性能表现。然而，神经网络的权重和激活数据都呈现非均匀分布，使用线性量化方案会导致明显的性能退化。同时，神经网络每层的数据分布有所差异，对每一量化层使用相同的量化方案不是最优的选择。

为了提升量化神经网络的性能表现，对于非线性量化方法的研究逐渐兴起。其中，将神经网络数据量化为多个二进制基({-1,1}或{0,1})的线性组合的多比特量化方法尤其引人注目。2017年，大疆提出利用多个二进制码{-1，1}线性叠加来拟合神经网络浮点激活和精度。该方法在每次迭代中先通过可训练的映射函数获得并固定二进制编码，再利用最小二乘回归获得相应系数。2018年，微软提出将量化二进制码和其系数参数化，通过交替优化二进制码和系数以最小化重建误差。该方法可以通过学习获得适应于不同层参数分布的量化方案。2020年，苏黎庶联邦理工学院的Qu等人提出量化方法ALQ。他们指出最小化重建误差的间接优化目标无法保证量化后神经网络的任务准确率，因此ALQ通过直接最小化神经网络任务损失的方式交替更新二进制码和系数。然而，这些方法都需要复杂的交替训练策略来优化二进制编码和系数，给神经网络训练引入了严重的负担。此外，训练后的浮点系数也使得量化神经网络引入了额外的浮点计算，没有线性量化硬件友好。同时，在使用极低精度量化时，神经网络仍然会遭遇明显的性能退化，方法性能仍有提升空间。

为解决量化神经网络性能下降的问题，降低量化方法训练复杂度并减少引入的推理计算开销，提出这种基于量化数据分布优化的神经网络线性与非线性联合量化方法。该方法可以自动优化调整量化数据分布以逼近网络原有浮点数据分布，降低网络损失，显著提升其性能。通过该方法，实现线性与非线性联合量化，相比现存非线性量化方法，在获得更高的性能表现得同时大幅减少了推理计算开销。同时，该方法通过最小化任务损失的方式进行简单的端到端的训练，降低了量化神经网络的训练复杂度。

发明内容