[发明专利]基于核相似度和非极大抑制算法的卷积神经网络剪枝方法

说明书

本发明涉及一种基于核相似度和非极大抑制算法的卷积神经网络剪枝方法，包括步骤：确定重要性指标和相似度指标；在通过数据集训练所得到的收敛卷积神经网络中确定待剪枝卷积层；根据重要性指标计算每个卷积核的重要性，按照每个卷积核的重要性指标大小降序排列，得到卷积核索引。本发明的有益效果是：本发明一方面使用重要性指标将不重要的卷积核移除，另一方面使用相似度指标将冗余卷积核移除，从而实现模型轻量化的效果。本发明使用非极大抑制算法完成剪枝操作；剪枝完成后参数量和计算量大大减少，从而减少模型占用的内存大小，实现了深度神经网络的轻量化，计算速度加快，并且可以在计算资源有限的边缘设备上部署。

技术领域

本发明属于卷积神经网络技术领域，尤其涉及一种基于核相似度和非极大抑制算法的卷积神经网络剪枝方法。

背景技术

随着卷积神经网络模型性能的增加，卷积神经网络模型的深度和宽度也越来越大，严重制约卷积神经网络在计算资源有限以及实时性需求高的场景下的应用。主流的深度神经网络模型内部储存着大量的冗余信息，通过压缩原始的卷积神经网络模型，在不影响或较少影响模型准确度的前提下减少其参数量和计算量，从而使模型能够部署在资源受限的边缘设备上，是当前的研究热点之一。

为了降低模型的参数量和计算量，进而降低模型的内存占用量和推理时延，一方面以深度分离卷积(Depth-wise Separable Convolution)为代表的轻量化模型设计得到广泛研究，另一方面模型压缩和加速技术也得到飞速发展，从方法上来讲，模型压缩有很多细分类，比如模型的剪枝(Pruning)，量化(Quantization)，知识蒸馏(KnowledgeDistillation)，以及低秩分解(Low-rank Factorization)等等。

模型剪枝表示移除模型某些权重来降低模型的参数量和计算量，其中剪枝粒度和剪枝指标是模型剪枝的两个比较核心的问题。卷积核剪枝是粒度最小的结构化剪枝，可以兼具模型加速和保持性能，因此在业界得到广泛的使用。卷积核剪枝会改变卷积层输出特征图的通道个数，因此核剪枝也称为通道剪枝。

剪枝指标用于决定哪些权重应当被移除，以卷积核剪枝为例，较早的方法是通过范数指标来衡量卷积核的重要性，将小范数对应的不重要卷积核移除，后来发展出了一系列其他指标，比如利用批量标准化层的缩放因子作为指标，但目前大多数剪枝方案仅衡量通道的重要程度，少量方案考虑通道的冗余程度，鲜有方案综合考虑通道的重要性和冗余性。

发明内容

本发明的目的是克服现有技术中的不足，提供一种基于核相似度和非极大抑制算法的卷积神经网络剪枝方法。

这种基于核相似度和非极大抑制算法的卷积神经网络剪枝方法，包括以下步骤:

S1、确定重要性指标和相似度指标；在通过数据集训练所得到的收敛卷积神经网络中确定待剪枝卷积层；待剪枝卷积层是人为定义的需要剪枝的卷积层，可以是所有卷积层，也可以是其中几个卷积层，根据经验选取；

S2、根据重要性指标计算每个卷积核的重要性，按照每个卷积核的重要性指标大小降序排列，得到卷积核索引，根据剪枝比例p％或重要性阈值s将卷积核归零，移除归零后的卷积核对应的卷积核索引；

S3、以待剪枝卷积层为单位，计算每个待剪枝卷积层的不同卷积核之间的相似度，使用非极大抑制算法将冗余度高于相似度阈值t的卷积核归零，并移除归零后的卷积核对应的卷积核索引；

S4、将所有待剪枝卷积层经过步骤S3处理完毕后，得到预剪枝模型；

S5、对预剪枝模型进行二次训练，得到剪枝后的轻量级模型。

作为优选，步骤S1中重要性指标为范数或缩放系数，缩放系数用于衡量卷积核重要性；相似度指标为余弦相似度、修正余弦相似度或皮尔逊相关系数。