[发明专利]深度神经网络自动择优混合剪枝的压缩方法

说明书

本发明公开一种深度神经网络自动择优混合剪枝的压缩方法，步骤是，先对DNNs模型中的全局滤波器执行滤波器级剪枝；对剪枝后的模型微调，补偿因滤波器级剪枝导致的累加误差，获得性能恢复的滤波器级稀疏化模型；再对获得的滤波器级稀疏化模型，执行权值级剪枝操作，并将得到的更稀疏的模型进行微调，补偿因权值剪枝导致的准确率影响，获得性能恢复的稀疏化模型；达到预设压缩率，混合剪枝训练得到压缩模型。本发明利加速了压缩过程，进一步加大模型压缩率，降低DNNs模型参数存储空间和计算复杂度，从而缩短推理时间且对模型准确率几乎不影响。

技术领域

本发明涉及深度学习处技术领域，特别是涉及一种深度神经网络自动择优混合剪枝的压缩方法。

背景技术

随着深度神经网络(deep neural networks，DNNs)的网络规模、图像数据集日趋变大，DNNs的推理和训练需要巨大的算能、存储空间和功耗。即使采用图像处理单元GPU、张量处理单元TPU或者神经网络处理单元NPU等进行加速，也依然无法满足实际商用需求。尽管DNNs功能强大，性能优异，但由于DNNs规模大、参数多和计算量大，其在时间和空间上都受到巨大约束，限制了它部署在硬件资源受限的移动端或嵌入式设备上。

相关研究表明，拥有百万级及以上参数的DNNs模型本身存在大量冗余参数信息，部分参数和结构对DNNs性能产生无用的信息，这为DNNs模型压缩提供了理论支撑。DNNs模型剪枝是解决上述问题的方法之一。

经典DNNs压缩方法，包括低秩分解、量化编码、紧凑模型设计和参数剪枝等方法。低秩分解主要是使用多个低维张量运算求和逼近原始参数来减少网络推断的计算时间和存储空间。量化编码是通过降低权值参数所需要的比特数对原始网络进行压缩。紧凑模型设计是设计特殊模型或紧凑网络结构来降低存储和计算复杂度。DNNs模型的冗余的神经元或权重参数可以通过剪枝剔除，从而有效地减少模型参数，降低模型运算量和存储空间。

然而，直接剪枝可能会带来准确率损失。权重剪枝按粒度分为权值剪枝、通道剪枝和滤波器剪枝，目前研究大都研究某方面，未能将其有机结合，另外，对剪枝参数的重要性评判多基于经验认定数值大小、L₁或L₂范数大小，不能有效地评判参数对模型性能的影响。

因此，如何实现参数重要性自动检测，以最大程度压缩简化模型，避免耗时试错式循环迭代是本领域技术人员亟需解决的问题。

发明内容

本发明的目的是针对DNNs参数过度冗余、计算量大和推理时延大等问题，而提供一种深度神经网络自动择优混合剪枝的压缩方法。

为实现本发明的目的所采用的技术方案是：

一种深度神经网络自动择优混合剪枝的压缩方法，包括步骤：

S1：输入预训练好的原始DNNs模型φ和超参数模型压缩率ρ；

S2：对DNNs模型φ中的全局滤波器执行滤波器级剪枝；

S3：对剪枝后的模型进行周期为5个Epoch的微调，补偿因滤波器级剪枝导致的累加误差，获得性能恢复的滤波器级稀疏化模型φ_f；

S4：对获得的滤波器级稀疏化模型φ_f，执行权值级剪枝操作；

S5：将S4得到的更稀疏的模型进行周期为5个Epoch的微调，补偿因权值剪枝导致的准确率影响，获得性能恢复的稀疏化模型φ_w；

S6：判断是否达到预设压缩率ρ，如果达到则表示剪枝压缩训练完成，直接执行S7；否则令φ＝φ_w，并重复S2到S6的过程，直到满足ρ约束；

S7：混合剪枝训练得到压缩模型φ_w，结束训练。