[发明专利]基于离散余弦变换通道重要性得分的剪枝方法

说明书

本发明公开了基于离散余弦变换通道重要性得分的剪枝方法，包括：利用离散余弦变换，将深度卷积网络中的输出特征图进行变换，计算对应的通道重要性得分来确定通道的重要性程度，然后按照设定的剪枝率优先减掉通道重要性得分较低的通道从而得到目标网络，最后将保留的通道初始化目标网络进行调优，以达到保持精度的条件下降低模型参数和计算量等；本发明极大的提高了通道剪枝的有效性，并且其方法极为简单，能被灵活的应用在不同的应用领域里，为神经网络模型压缩提供了一种可靠且高效的方法。

技术领域

本发明涉及人工智能模型压缩领域，更为具体的，涉及基于离散余弦变换通道重要性得分的剪枝方法。

背景技术

深度卷积神经网络在图像分类、目标检测、语义分割、文本检测、视频理解、超分辨率等方面诸多领域取得了成功。然而，其性能的提升往往伴随着巨大的存储和计算资源的开销为代价，如何降低网络模型的参数量和计算量，同时保持较高的精度是目前深度卷积神经网络在部署中面临的挑战之一。为了解决这一问题，研究者们提出了量化、通道剪枝、知识蒸馏、张量分解等模型压缩手段，以互补的方式来解决模型压缩的难题。其中，通道剪枝以其在保持较高精度的同时可以极大降低模型参数量和计算量而被在实际模型压缩中广泛采用。

现有技术中的剪枝方法需要复杂的模型和庞大的计算支撑量，并且还要配合将输入图像也变换到频域来进行剪枝，不仅计算复杂，而且现有的通道剪枝的方法中对通道重要性的评估是有限的，因此限制了模型的高效压缩。

发明内容

本发明的目的在于克服现有技术的不足，提供基于离散余弦变换通道重要性得分的剪枝方法，极大的提高了通道剪枝的有效性，并且其方法极为简单，能被灵活的应用在不同的应用领域里，为模型压缩提供了一种可靠且高效的方法。

本发明的目的是通过以下方案实现的：

基于离散余弦变换通道重要性得分的剪枝方法，包括如下步骤：

S1，从模型训练集中选择N张图片作为输入数据，输入到待剪枝的神经网络模型中处理，得到各层的输出特征图，N为正整数；

S2，利用离散余弦变换将提取的特征图从空间域转到频域中，得到各个特征图对应的频率系数矩阵；

S3，根据待剪枝的神经网络模型中每个通道所对应的频率系数矩阵，计算各层中每个通道的重要性得分；

S4，计算N张图片作为输入的平均通道重要性得分，将每层的通道上所有的平均重要性得分作为该层最终的通道重要性得分；

S5，将待剪枝的神经网络模型中每一层的通道，根据步骤S4中的通道重要性得分进行排列，按照设定的剪枝率优先移除重要性得分较低的通道，完成对待剪枝的神经网络模型的通道剪枝，得到剪枝后的目标模型；

S6，利用保留通道的权重初始化目标模型进行调优训练，直到目标模型收敛。

进一步地，在步骤S1中，从模型训练集中选择的N张图片带有在模型训练集上所学到的数据分布，基于模型本身和所学到的数据分布在待剪枝的神经网络模型中处理，从而得到各层的输出特征图。

进一步地，在步骤S1中，在待剪枝的神经网络模型各层的输出节点上插入一个hook函数，hook函数在各层的输出节点处得到当前层的输出特征图，即得到待剪枝的神经网络模型各层的输出特征图。

进一步地，在步骤S1中，将所述hook函数插入到模型每一层的输出节点上，且插入的hook函数仅用于记录下该输出节点的特征图，然后将记录下来的特征图按照其所在的层和通道存储在对应的容器中，以供后续计算使用。

进一步地，在步骤S2中，将步骤S1中利用hook函数得到的输出特征图进行离散余弦变换，其变换公式如下：