[发明专利]基于特征图变化对卷积神经网络剪枝的方法

权利要求书

1.一种在卷积神经网络中基于特征图变化对卷积层中的过滤器进行剪枝的方法，其中，对于包含n个过滤器的第i个卷积层，期望移除掉其中的m个过滤器，所述方法包括：

（1）对原始的神经网络模型运行一次前向计算，得到第i+k个卷积层生成的特征图x，其中k为任意正整数；

（2）遍历第i个卷积层中的所有n个过滤器；

（3）将当前遍历到的第j个过滤器移除掉，其余过滤器与原始网络模型相同，生成一个新的模型；

（4）在新模型上运行一次前向计算，得到第i+k个卷积层生成的特征图x’；

（5）计算x与x’的特征图差值；

（6）遍历所有n个过滤器之后，将n个过滤器按照x与x’的特征图差值进行排序；

（7）选取所述特征图差值最小的m个过滤器作为移除掉的过滤器。

2.根据权利要求1所述的方法，其中，k=2。

3. 根据权利要求1或2所述的方法，其中，所述的x与x’的特征图差值是x与x’的特征图差值的L2范数，记为。

4.一种在卷积神经网络中通过对卷积层中的过滤器剪枝进行网络敏感度分析的方法，包括：

对于原始网络模型，使用验证数据集测试其精度；

遍历网络中除最后k个卷积层之外的所有卷积层，其中k为任意正整数；

对当前遍历到的卷积层运行权利要求1-3中任意一项所述的在卷积神经网络中基于特征图变化对卷积层中的过滤器进行剪枝的方法中的步骤（1）至（6）；

从所述差值最小的过滤器开始依次移除每个过滤器，其中，每移除掉一个过滤器，就对剪枝后的网络精度进行测试，直到剩余最后一个过滤器，得到网络精度测试结果；

将当前卷积层移除掉的过滤器全部恢复，保持与原始网络相同；

将所述网络精度测试结果与原始网络精度做差值，得到精度差值，该精度差值表明了移除相应个数的过滤器后网络精度的损失情况，精度损失越大，说明该层对过滤器移除的敏感度越高。

5.一种在卷积神经网络中基于敏感度对网络进行剪枝的方法，包括：

执行根据权利要求4所述的在卷积神经网络中通过对卷积层中的过滤器剪枝进行网络敏感度分析的方法；

设定剪枝后所能接受的模型精度损失阈值；

遍历网络中除最后k个卷积层之外的所有卷积层，其中k为任意正整数，根据当前遍历到的卷积层的敏感度结果，确定在不超过所述模型精度损失阈值情况下该层所能移除的最大过滤器个数m；

移除掉该层按照所述特征图差值排序的最小的m个过滤器；

遍历网络中除最后k个卷积层之外的所有卷积层后完成对这些层的剪枝。

6.一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行在卷积神经网络中基于特征图变化对卷积层中的过滤器进行剪枝的方法，其中，对于包含n个过滤器的第i个卷积层，期望移除掉其中的m个过滤器，包括如下操作：

（1）对原始的神经网络模型运行一次前向计算，得到第i+k个卷积层生成的特征图x，其中k为任意正整数；

（2）遍历第i个卷积层中的所有n个过滤器；

（3）将当前遍历到的第j个过滤器移除掉，其余过滤器与原始网络模型相同，生成一个新的模型；

（4）在新模型上运行一次前向计算，得到第i+k个卷积层生成的特征图x’；

（5）计算x与x’的特征图差值；

（6）遍历所有n个过滤器之后，将n个过滤器按照x与x’的特征图差值进行排序；

（7）选取所述特征图差值最小的m个过滤器作为移除掉的过滤器。