[发明专利]深度神经网络自动择优混合剪枝的压缩方法

权利要求书

1.深度神经网络自动择优混合剪枝的压缩方法，其特征在于，包括步骤：

S1：输入预训练好的原始DNNs模型φ和超参数模型压缩率ρ；

S2：对DNNs模型φ中的全局滤波器执行滤波器级剪枝；

S3：对剪枝后的模型进行周期为5个Epoch的微调，补偿因滤波器级剪枝导致的累加误差，获得性能恢复的滤波器级稀疏化模型φ_f；

S4：对获得的滤波器级稀疏化模型φ_f，执行权值级剪枝操作；

S5：将S4得到的更稀疏的模型进行周期为5个Epoch的微调，补偿因权值剪枝导致的准确率影响，获得性能恢复的稀疏化模型φ_w；

S6：判断是否达到预设压缩率ρ，如果达到则表示剪枝压缩训练完成，直接执行S7；否则令φ＝φ_w，并重复S2到S6的过程，直到满足ρ约束；

S7：混合剪枝训练得到压缩模型φ_w，结束训练。

2.根据权利要求1所述深度神经网络自动择优混合剪枝的压缩方法，其特征在于，S2中对DNNs模型φ中的全局滤波器执行滤波器级剪枝，具体步骤为：

S21：记录当前训练迭代DNNs模型φ参数w和对应的梯度g_w，将重要性评判标准计分因子表示为σ＝|g_w·w|假设本次迭代模型的输入为X，训练标签为Y，模型所有的参数为Θ和损失函数为L(X,Y；Θ)，则

S22：将每个滤波器中参数w_i对应的σ(w_i)累加求和作为该滤波器的重要性评分，即其中i,K分别为当前滤波器参数的索引及总数，

S23：将全局的所有滤波器的评分σ(w_i)按升序排序，选出1％对应评分较小的滤波器，将其参数置为零并在训练中停止更新。

3.根据权利要求2所述深度神经网络自动择优混合剪枝的压缩方法，其特征在于，S3中对剪枝后模型的微调，具体步骤为，对滤波器剪枝后，对稀疏模型微调时，采用L₂正则化，在训练过程中降低预定参数的大小，以至于在不损失模型准确率情况下，将其剪掉，如下式所示。

4.根据权利要求3所述深度神经网络自动择优混合剪枝的压缩方法，其特征在于，S4中对滤波器级稀疏化模型φ_f执行权值级剪枝的具体步骤为：

S41：记录当前训练迭代DNNs模型参数w和对应的梯度g_w，将重要性评判标准计分因子表示为σ＝|g_w·w|假设本次迭代模型的输入为X，训练标签为Y，模型所有的参数为Θ和损失函数为L(X,Y；Θ)，则

S42：将每层的参数w_i对应的σ(w_i)作为w_i本身重要性评分；

S43：将每层参数w_i的评分σ(w_i)按升序排序，选出10％对应评分较小的参数，将其置为零并在训练中停止更新。