[发明专利]一种基于概率的神经网络剪枝方法

摘要

本发明公开了一种基于概率的神经网络剪枝方法。在对一个神经网络模型进行剪枝时，为每一个参数分配一个参与概率p∈(0,1]。当p＝1时表示该参数在训练过程中始终发挥作用；当p＝0时表示该参数完全不参与训练，可以从网络中删除；剪枝过程中p从1开始逐渐递减，当p＝0时该参数被完全删除。当网络中被完全删除的参数比重达到设定的目标值时，停止剪枝。然后对模型进行再训练，当模型的准确率不再有提高时，停止再训练，得到最终的模型。本发明方法解决了以卷积神经网络为代表的深度学习模型存储量大、计算量大的问题，使得深度学习模型可以部署在资源受限型设备(如手机、可穿戴设备等)上，推进智能算法在移动端的应用。

主权项

1.一种基于概率的神经网络剪枝方法，其特征在于，具体包括以下步骤：(1)准备工作对于待剪枝的神经网络模型，准备训练它的数据集、网络结构配置文件、训练过程配置文件，所使用的数据集、网络结构配置、训练过程配置均与原训练方法保持一致；(2)概率剪枝(2.1)为该神经网络的每一层1设置目标剪枝率为Rl∈[0，1)，每隔t次迭代，更新一次参与概率p；(2.2)对神经网络每一层的参数进行分群组，设第l层的群组的个数是Nl，同一个群组中的参数共享同一个参与概率p；(2.3)将所有参与概率p初始化为1，开始训练；(2.4)当训练的步数是t的整数倍时，减少一次参与概率p，设减少值为Δ；(2.5)更新参与概率p：p＝max(min(p‑Δ，1)，0)；(2.6)继续训练，当训练步数是t的整数倍时，回到步骤(2.4)；(2.7)当所有层均达到设定的目标剪枝率Rl时，步骤(2.4)‑(2.6)的循环结束，概率剪枝终止；(3)对剪枝完成的模型进行再训练，并对模型的准确率进行监测，当再训练的模型准确率不再上升时，得到剪枝后的神经网络模型。