[发明专利]一种基于弹性有效位的深度神经网络量化方法

说明书

本发明提供了一种基于弹性有效位的深度神经网络量化方法，将定点数或者浮点数量化为具有弹性有效位数的量化值，丢弃多余的尾数部分，并采用可行求解的方式来定量评价量化值与原始数据的分布差异。本发明具有弹性有效位的量化值，通过不同的有效位，量化值的分布可以覆盖从长尾到均匀的一系列钟形分布，适应DNNs的权值/激活分布，从而保证低的精度损失；乘法计算在硬件上可以由多次的移位加法实现，提升量化模型的整体效率；分布差异函数定量地估计不同量化方案带来的量化损失，可以在不同的条件下选择最优的量化方案，实现更低的量化损失，提升量化模型的精度。

技术领域

本发明属于深度神经网络压缩技术领域，特别涉及一种基于弹性有效位的深度神经网络量化方法。

背景技术

深度神经网络(Deep Neural Networks，DNNs)量化是一种有效的压缩DNNs的方法，可以显著提高DNNs的计算效率，使网络能够部署在资源有限的边缘计算平台上。实现DNNs量化的最常用方法之一是将高精度浮点值投影为低精度量化值。例如，具有32位浮点的DNNs可以通过将权值替换为仅一比特来实现32x模型大小压缩，甚至可以在硬件上将复杂的乘法运算简化为简单的位运算。因此，在比特值较少的情况下，DNN量化可以显著降低计算规模或内存占用，从而提高计算效率。

然而，量化同时也会导致精度的大幅度下降，这主要是因为使用低精度替换会破坏DNNs中权重/激活的原始数据分布。例如，二值化将服从任意分布的原始值转换为Bernoulli分布，导致了精度严重下降。因此，为了获得更高的精度，如何适当地利用最少比特来尽可能地提高量化前后的两个分布之间的近似仍然是一个挑战。一些低比特的量化工夫比如二进制/三进制可以实现很高的计算效率，但模型精度太低。因此，近年来的研究者更加关注多比特量化，它大致可以分为两类：线性量化和非线性量化。

线性量化：线性量化将数据量化为连续的定点值。Dorefa-Net首先寻找一个缩放因子，将数据缩放到目标范围内，然后应用舍入操作来实现投影过程。TSQ分别给出了激活和权重的两步量化。它首先设置低于阈值的激活为0，然后通过线性量化对其他激活进行量化，然后通过基于卷积核得量化将权重量化为三值。QIL引入了一种可训练的线性量化过程，对量化参数(区间宽度)进行了重参数化，并通过优化任务损失对其进行训练。PACT认为激活量化困难的原因在于缺乏任何可训练的参数。它重参数化了用于激活量化的剪裁参数以限制值的范围，然后在该范围内使用线性量化。BCGD使用具有一个缩放因子的简单阶跃函数来实现所有权重和激活的线性量化。DSQ提出了一种可导的软线性量化过程来解决量化的不可导问题，该过程利用tanh函数逐步迭代逼近阶跃函数。最新的μL2Q引入了用于权值变换的缩放因子和移位因子，然后将变换后的数据截断并舍入为离散值。VecQ只在目标范围内使用缩放因子缩放权重，然后将其截断并舍入为固定点值。

非线性量化：非线性量化将浮点数投影成具有非均匀间隔的低精度值。TTQ试图将三值和量化权重导致的精度下降纠正为非中心对称的三个值。为了实现这一目标，其引入了两个可训练的缩放因子。为了利用来自二值量化的比特操作，同时防止严重的精度下降，LQ-Nets和ABC-Net将权重和激活量化为多个二值量化结果的和，以实现精度和效率之间的新的权衡。对数量化试图将浮点数映射成基于不同底数的指数形式的值，如1底数为1.2或2.1。研究发现，二次幂(PoT)的计算效率较高，但是性能较差。INQ试图解决量化网络的快速收敛问题，其提出了将权值逐步量化到PoT中的方法。ENN将交替方向乘子法(ADMM)引入到量化中，以解决不可导量化的梯度传播问题。它也将权值量化为PoT。