[发明专利]基于自适应衰减柔性剪枝算法的图像分类方法

说明书

本发明公开了一种基于自适应衰减柔性剪枝算法的图像分类方法。柔性剪枝的主要缺点是在图像分类网络训练的初始阶段就对模型权重做置零操作，这会造成更多信息丢失，这些信息可能对图像分类网络的精度起到正向的作用。与柔性剪枝不同的是，本发明使用滤波器的衰减操作替代了原来的置零操作，这可以加速图像分类网络的推理速度且模型性能不会受到太大的影响，使图像分类网络在训练的初始阶段保留更多有效的信息。

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于自适应衰减柔性剪枝算法的图像分类方法。

背景技术

在图像分类任务中，图像分类网络的训练是取得良好分类性能的关键。而图像分类网络中复杂的模型结构和大量的模型参数，是网络训练的阻碍之一。网络剪枝技术通过减去深度神经网络中一些不重要的参数和连接来实现网络的压缩。这限制了它在实践中的应用。滤波器剪枝直接移除卷积层中的整个滤波器或全连接层中的整个神经节点来实现结构化剪枝。剪枝后的网络具有与原网络相同的底层结构单元，可以直接部署在现有的软硬件平台上，实现压缩和加速，但相应的剪枝率相比权重剪枝有所限制。随着研究的发展，剪枝的思路不断深化，可以分为两大类：基于重要性的修剪和稀疏学习修剪。

网络剪枝是用于降低图像分类模型复杂性的最常见的方法之一，在模型压缩领域已经得到广泛的研究。网络剪枝可分为硬剪枝和柔性剪枝。硬剪枝方法中直接移除滤波器同时移除模型中与之连接的所有滤波器，这会导致特征图的减少而进一步导致模型的性能受到损害，这一方法通常更依赖于一个预先训练好的模型再进行剪枝和微调。而柔性剪枝的主要缺点是在图像分类网络训练的初始阶段就对模型权重做置零操作，这会造成更多信息丢失，这些信息可能对图像分类网络的精度起到正向的作用。

因此，在图像分类任务中，如何对图像分类网络进行剪枝，使图像分类网络在训练的初始阶段保留更多有效的信息，进而提升图像分类准确性，是目前亟待解决的技术问题。

发明内容

本发明的目的在于解决现有技术中图像分类网络进行剪枝时容易造成过多信息丢失的问题，并提供一种基于自适应衰减柔性剪枝算法的图像分类方法。

本发明所采用的具体技术方案如下：

一种基于自适应衰减柔性剪枝算法的图像分类方法，其包括：

S1：获取初始化的图像分类网络W和用于训练图像分类网络的训练数据集X；

S2：使用训练数据集X对当前最新的图像分类网络W进行一轮训练；

S3：以各个卷积层中每个滤波器的L2范式作为重要性指标，评判图像分类网络中每个滤波器的重要性，对各个卷积层中的滤波器按照重要性从高到低进行排序；

S4：根据预设的剪枝率p和S3中确定的重要性，从图像分类网络每一个卷积层所含的滤波器中选择重要性最低的部分滤波器作为待剪枝滤波器，然后按照初始衰减比例α₀、图像分类网络当前所处训练轮次以及滤波器本身L2范式的值计算对应的当前衰减比例，当前所处训练轮次越大当前衰减比例越小；利用当前衰减比例对待剪枝滤波器的权值进行衰减操作，从而对图像分类网络进行柔性剪枝操作；

S5：不断迭代S2～S4步骤，直至图像分类网络收敛，获得一个稀疏的网络模型；

S6：移除图像分类网络中所有权值为零的滤波器，获得最终的紧凑模型，利用该紧凑模型进行图像分类。

作为优选，所述图像分类网络为ResNet网络。

作为优选，所述步骤S3具体包括如下步骤：

S31：计算图像分类网络W的各个卷积层中每个滤波器的L2范式||W_i，j||₂：