[发明专利]一种卷积神经网络模型的剪枝方法及装置

说明书

本发明公开了一种卷积神经网络模型的剪枝方法及装置，包括构建卷积神经网络模型，并稀疏化训练所述模型；设定剪枝策略，将训练后的所述模型剪枝，重新整合；再次稀疏化训练剪枝后的剪枝模型，直至所述剪枝模型训练精度明显下降；停止所述剪枝，获得高效的所述剪枝模型。本发明通过采用规整剪枝的策略，使得剪枝后的模型可以在硬件运算设备上有更好的运算效率，对于不同层的剪枝策略不作统一处理，可以达到整体网络整体剪枝的效果，不会出现中间层压缩消失的情况，提高压缩率。

技术领域

本发明涉及模型剪枝技术领域，尤其涉及一种卷积神经网络模型的剪枝方法及系统。

背景技术

1988年，Wei Zhang提出了第一个二维卷积神经网络：平移不变人工神经网络(SIANN)，并将其应用于检测医学影像。独立于Zhang(1988)，Yann LeCun在1989年同样构建了应用于计算机视觉问题的卷积神经网络，即LeNet的最初版本。LeNet包含两个卷积层，2个全连接层，共计6万个学习参数，规模远超TDNN和SIANN，且在结构上与现代的卷积神经网络十分接近。LeCun(1989)对权重进行随机初始化后使用了随机梯度下降(StochasticGradient Descent,SGD)进行学习，这一策略被其后的深度学习研究所保留。此外，LeCun(1989)在论述其网络结构时首次使用了“卷积”一词，“卷积神经网络”也因此得名。

模型剪枝是一种深度神经网络模型压缩的方法，通过对模型的参数统计，删除不重要的参数，并且保持网络的精度、准确率不变的前提下，达到提高网络运算速度，压缩模型大小的目的。先阶段主要有通道剪枝的压缩方法，该方法存在网络压缩不规整的问题，对于硬件运算设备并不友好。现有压缩技术都是对网络参数统一压缩处理，这样会导致网络压缩不均，容易造成部分中间层压缩消失，或者很难提高压缩率。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在网络压缩不规整、压缩率太低的问题，提出了本发明。

因此，本发明提供了一种卷积神经网络模型的剪枝方法及系统，可以通过规整剪枝的策略，提高压缩率。

为解决上述技术问题，本发明提供如下技术方案：构建卷积神经网络模型，并稀疏化训练所述模型；设定剪枝策略，将训练后的所述模型剪枝，重新整合；再次稀疏化训练剪枝后的剪枝模型，直至所述剪枝模型训练精度明显下降；停止所述剪枝，获得高效的所述剪枝模型。

作为本发明所述的一种卷积神经网络模型的剪枝方法的一种优选方案，其中：构建所述卷积神经网络模型包括，设置训练数据集；采用原始论文中人为设定的数字配置卷积层的通道数目；利用多个所述卷积层叠加组建网络；结合子采样层构成特征抽取器，构建所述模型。

作为本发明所述的一种卷积神经网络模型的剪枝方法的一种优选方案，其中：稀疏化训练所述模型包括，设计损失函数，获取稀疏参数组；利用L1损失函数公式，构建惩罚系数函数；训练所述神经网络模型，并保存训练模型参数。

作为本发明所述的一种卷积神经网络模型的剪枝方法的一种优选方案，其中：构建所述惩罚稀疏函数、损失函数具体包括，利用交叉熵损失函数CE公式检测网络的分类损失，公式如下：

其中，output是网络的输出结果、label是图片所属的实际类别；利用L1损失函数对Gamma值惩罚，获得所述稀疏参数组，公式如下：

L1 loss＝p(i,n)*||Gamma||

其中p(i,n)是惩罚系数函数；构建所述惩罚系数函数，公式如下：