[发明专利]基于LSQ量化的知识蒸馏方法

说明书

本发明提供的基于LSQ量化的知识蒸馏方法，通过LSQ算法量化模型，得到量化模型，并通过自学习初始化量化模型的权重、权重步长和激活步长，缓解了陷入量化感知训练陷入局部极小值。且进一步地，本发明还通过2阶段知识蒸馏算法训练模型。第1阶段只训练量化模型的权重和权重步长。第2阶段训练量化模型的权重和激活步长。从而进一步缓解了陷入量化感知训练陷入局部极小值。

技术领域

本发明涉及深度学习模型压缩领域，尤其涉及一种基于LSQ量化的知识蒸馏方法。

背景技术

近些年来，深度学习由于其强大的拟合能力，在包括图像处理、多学科融合等多个领域取得了成功的应用，受到极大关注。基于神经网络的深度学习方法，参数量巨大，部署到嵌入式设备上时，需要消耗掉大量的计算和内存。因此，知识蒸馏、量化等模型压缩方法得到了广泛使用。量化算法将网络参数从32位浮点数，量化到8位甚至更低位的整型数，模型参数变得更小，推理速度变得更快。

LSQ(Learned Step Size Quantization)算法作为量化感知训练中的一种，相比后量化算法，拥有更高的精度，但是需要重新训练量化后的模型。重新训练量化后模型，将会面临着训练陷入局部最小值的问题。因此，使用知识蒸馏算法训练LSQ量化后的模型是一种很好的方式。

发明内容

本发明要解决的主要技术问题是，提供一种基于LSQ量化的知识蒸馏方法，以解决LSQ量化训练陷入局部极小值问题。

为了解决上述技术问题，本发明实施例提供了一种基于LSQ量化的知识蒸馏方法，包括：

S1：使用LSQ量化全精度模型，得到量化模型；输入数据，量化模型自学习初始化量化模型；

S2：使用知识蒸馏算法，2阶段训练量化模型，第1阶段训练冻结每一层伪量化层的激活步长，第2阶段训练冻结每一层伪量化层的权重步长。

可选地，所述步骤S1具体包含如下子步骤：

S11：计算权重的量化区间(-2^k-1，2^k-1-1)，计算激活的量化区间(0，2^k-1)。其中，k为需要量化的比特数。

S12：在全量化模型M_full中插入伪量化层，得到量化模型M_k。

S13：根据所述全量化模型M_full的权重初始化所述量化模型M_k每一个伪量化层的权重步长s_w；随机采集一小批数据数据输入到所述量化模型M_k中，初始化每一个伪量化层的激活步长s_x。

S14：输入数据，同时训练所述量化模型M_k的权重和每一个伪量化层中的所述权重步长s_w和所述激活步长s_x。

可选地，所述步骤S2具体包含如下子步骤：

S21：使用全量化模型M_full作为教师模型，使用量化模型M_k作为学生模型。

S22：冻结所述学生模型中冻结所有伪量化层中激活步长s_x，使用所述教师模型中的提供知识辅助训练所述学生模型权重和所有伪量化层的权重步长s_w。

S23：冻结所述学生模型中冻结所有伪量化层中权重步长s_w，使用所述教师模型中的提供知识辅助训练训练所述学生模型权重和所有伪量化层的激活步长s_x。

可选地，所述量化权重步长s_w和量化步长s_x的初始化公式为：