[发明专利]一种用于图像分类任务的滤波器剪枝方法

权利要求书

1.一种用于图像分类任务的滤波器剪枝方法，其特征在于：将待分类的图像输入预先剪枝后的卷积神经网络；利用所述剪枝后的卷积神经网络对图像进行分类，获得所述图像的分类结果；其中所述剪枝后的卷积神经网络通过如下操作得到：针对一个L层的卷积神经网络预训练模型W，其使用的训练数据集为D，模型的第i层表示为其中表示维数分别为n_i、n_i-1、k_i和k_i、取值为实数的四维矩阵，n_i和k_i分别表示第i层的滤波器数量和卷积核大小；那么，模型第i层中的第j个滤波器可以表示成其中表示维数分别为n_i-1、k_i和k_i、取值为实数的三维矩阵；具体剪枝过程如下：

S1考虑剪枝直接影响的滤波器重要性评估

对于第i层来说，滤波器剪枝会造成滤波器数量的直接减少，剪枝时更倾向于剪掉本层中最不重要的滤波器，采用基于范数的方式来评估滤波器对于第i层的重要性，1≤i≤L：

其中，表示模型第i层中的第j个滤波器对于第i层的重要性，||·||₁表示L₁范数，min和max分别表示本层中范数值最小和最大的滤波器的索引；

S2考虑剪枝间接影响的滤波器重要性评估

对于第i+1层来说，滤波器剪枝造成的是滤波器通道数的减少，剪枝时更倾向于剪掉最不重要的通道所对应的滤波器；通过评估不同通道在第i+1层中重要性来表示对应滤波器对第i+1层的重要性，具体如下：

第i层中任一滤波器影响着第i+1层中所有滤波器的第j个通道，将这些通道提取出来，用其构建一个具有n_i+1个通道的新滤波器其中，1≤i′≤L，“cat{·}”代表拼接操作，表示滤波器的第j个通道，其中1≤m≤n_i+1，表示维数分别为k_i+1和k_i+1、取值为实数的二维矩阵；最终对于第i层可以得到一个新建滤波器集合通过计算这些新构建滤波器的范数值来表示其对应通道的重要性，滤波器的范数值越大，其对应的通道就越重要；

滤波器对于第i+1层的重要性可以表示为：

其中表示模型第i层中的第j个滤波器对于第i+1层的重要性，||·||₁表示L₁范数，min和max分别表示第i层中新构建的滤波器集合中范数值最小和最大的滤波器的索引；

S3计算重要性综合评估结果

根据公式(1)得到的滤波器对于第i层的重要性评估结果以及公式(2)得到的滤波器对于第i+1层的重要性评估结果，可以计算得到滤波器最终的重要性评估结果，即

其中，表示模型第i层中的第j个滤波器的重要性综合评估结果；

S4确定待剪枝滤波器

设定第i层的预定义剪枝率为P_i，根据公式(3)计算得到的重要性综合评估结果，从低到高选择n_i×P_i个滤波器作为待剪枝滤波器；

S5实施滤波器剪枝

从i＝1到i＝L选定模型W中所有层的待剪枝滤波器之后，从W中删除选定的待剪枝滤波器及其在下一层中对应的滤波器通道，得到剪枝后的模型W'；

S6对剪枝后的模型W'重新训练

采用随机梯度下降法，在训练数据集D上对剪枝后的模型W'进行重新训练，得到最终的模型W*。

2.一种根据权利要求1所述用于图像分类任务的滤波器剪枝方法，其特征在于：第i层的预定义剪枝率P_i的取值范围为0≤P_i≤1。

3.一种根据权利要求2所述用于图像分类任务的滤波器剪枝方法，其特征在于：第i层的预定义剪枝率P_i的取值为P_i＝0.5。

4.一种根据权利要求1至3任一项所述用于图像分类任务的滤波器剪枝方法，其特征在于：S1中，也可以使用基于几何中值的方法来评估滤波器对于第i层的重要性：

其中min和max分别表示本层中g(·)值最小和最大的滤波器的索引。