[发明专利]一种卷积神经网络模型的剪枝方法及装置

权利要求书

1.一种卷积神经网络模型的剪枝方法，其特征在于：包括，

构建待剪枝的卷积神经网络模型；

增加剪枝策略稀疏化训练所述模型来获取稀疏的参数；

根据所述参数定义剪枝策略和剪枝标准，利用所述剪枝标准对所述模型裁剪，删除参数值过小的网络通道重新整合网络参数后构建新模型；

再次稀疏化训练所述新模型并生成新稀疏的参数，进行新一轮剪枝操作；

重复上述稀疏化训练和剪枝，不断更新网络参数；

直至生成的最新模型的训练精度明显下降，停止所述剪枝操作；

获得高效的剪枝模型用于硬件运算设备。

2.如权利要求1所述的卷积神经网络模型的剪枝方法，其特征在于：构建所述卷积神经网络模型包括，

设置训练数据集；

采用人为设定的数字配置卷积层的通道数目；

利用多个所述卷积层叠加组建网络；

结合子采样层构成特征抽取器，构建所述模型。

3.如权利要求1或2所述的卷积神经网络模型的剪枝方法，其特征在于：所述稀疏化训练包括，

设计损失函数，获取稀疏参数组；

利用L1损失函数公式，构建惩罚系数函数；

训练所述神经网络模型，并保存训练模型参数。

4.如权利要求3所述的卷积神经网络模型的剪枝方法，其特征在于：构建所述惩罚稀疏函数、损失函数具体包括，

利用交叉熵损失函数CE公式检测网络的分类损失，公式如下：

其中，output是网络的输出结果、label是图片所属的实际类别；

利用L1损失函数对Gamma值惩罚，获得所述稀疏参数组，公式如下：

L1 loss＝p(i,n)*||Gamma||

其中p(i,n)是惩罚系数函数；

构建所述惩罚系数函数，公式如下：

P(i,n)＝((n-b–a*||m-i||)/b+1)*base

其中剪枝vgg网络，b＝256,a＝30,m＝10,base＝0.0001；

构建所述损失函数，公式如下：

L＝Lce+L1loss＝CE(label,output)+p(i,n)*||Gamma||。

5.如权利要求1或4所述的卷积神经网络模型的剪枝方法，其特征在于：剪枝所述训练模型包括，

利用所述训练模型参数值，设定所述剪枝策略及标准；

结合所述剪枝标准裁剪所述训练模型，并删除所述参数值较小的网络通道；

重新整合裁剪后的所述训练模型。

6.如权利要求5所述的卷积神经网络模型的剪枝方法，其特征在于：剪枝所述训练模型还具体包括，

读取所述训练模型参数，并分析各个BatchNorm层中Gamma系数值与0的接近程度，获得Diff(i)＝||Gamma(i)||；

对所述Diff(i)大小排序；

利用动态剪枝裁剪所述训练模型；

记录并舍弃被剪枝后的所述网络通道序号及通道值；

重新整合剪枝后的所述训练模型参数，并保存。

7.如权利要求1或6所述的卷积神经网络模型的剪枝方法，其特征在于：再次稀疏化训练剪枝后的所述训练模型包括，

参照剪枝后的所述网络通道，重新设定所述稀疏化训练参数，再次进行所述稀疏化训练；

检测判断所述剪枝模型训练精度下降，相较于原始大网络下降超过2％时停止所述剪枝过程；

获得高效所述剪枝模型。

8.一种卷积神经网络模型的剪枝装置，其特征在于：包括，

输入模块(100)，处理多维数据，通过所述输入模块(100)内的归一单元(101)，可在所述参数值输入所述卷积神经网络模型前，对通道输入数据归一化，即使输入数据为像素，也可将原始像素归一化；

连接模块(200)，包括传递单元(201)和组合单元(202)，通过所述组合单元(202)对提取的特征进行非线性组合获取传输信号，并由所述传递单元(201)向该系统内结构组织进行信号的传递交接；

处理模块(300)，与所述输入模块(100)、连接模块(200)相连，当获取所述输入参数数据后，通过计算体(301)快速检测相关输入特征，并利用所述传递单元(201)将所述传输信号传递给所述输入模块(100)；

其中所述处理模块(300)包括稀疏化训练模块(302)和剪枝模块(303)，所述稀疏化训练模块(302)用于待剪枝的卷积神经网络模型的稀疏化训练，所述剪枝模块(303)用于所述卷积神经网络模型的剪枝操作。