[发明专利]一种基于深度学习的网络模型压缩方法

说明书

本发明公开了一种基于深度学习的网络模型压缩方法，属于人工智能领域。本发明采用分组卷积和分解卷积相结合的方法设置全新的轻量化网络结构，从而在网络模型设置阶段降低模型复杂度，压缩模型重量；接着，再使用模型剪枝的方法对所设置的网络模型进行剪枝处理，所采用的剪枝方式为：通过在控制特征图在裁剪前后的误差之上，尽可能的减少卷积核的通道数。从而基于剪枝得到的网络模型实现对输入图像的分类或目标检测识别任务，降低运算量，以达到在移动设备或嵌入式设备的部署需求。

技术领域

本发明属于人工智能领域，具体涉及一种基于深度学习的网络模型压缩方法。

背景技术

在深度学习这个技术领域主要有两个研究方向。一个是学术化的方向，追求强大而复杂的网络模型和实验办法，追求极致的性能。另一个研究方向是工程领域，旨在把算法更稳定，高效的部署到硬件设备上，算法性能和部署的难易程度都是其研究的主要目标。复杂的模型虽然性能较好，但是模型体积大，存储要求高，计算资源的消耗量也大，对于当前的硬件环境来说，很难进行有效的应用。现在已经有很多针对算法部署落地的研究，当前目标检测的研究方向，从理论研究到平台实现，已经开始转向模型压缩，取得了十分巨大的成就。深度学习模型压缩和加速算法目前主要包含三个方向，分别为轻量级网络结构设计、模型剪枝、核的稀疏化。

在轻量级网络结构设计中，当前的研究热点在提出新的卷积方法，设计全新的网络结构上。当前热门的卷积方法包括分组卷积和分解卷积，分组卷积即将输入的特征图(feature maps)分成不同的组(沿通道维度进行分组)，然后对不同的组分别进行卷积操作，即每一个卷积核只与输入的feature maps的其中一组进行连接，而普通的卷积操作是与所有的feature maps进行连接计算。分组数k越多，卷积操作的总参数量和总计算量就越少(减少k倍)。然而分组卷积有一个致命的缺点就是不同分组的通道间减少了信息流通，即输出的feature maps只考虑了输入特征的部分信息，因此在实际应用的时候会在分组卷积之后进行信息融合操作，ShuffleNet和MobileNet网络是基于分组卷积的思想具有代表性的两个网络。shufflenet结构，通过均匀排列，把分组卷积(group convolution)后的feature map按通道进行均匀混合，如图1所示。Mobilenet采用了深度可分离卷积(depthwise separable convolutions)的思想，采用depthwise(DW)和1x1的pointwise(PW)的方法进行分解卷积。其中depthwise separable convolutions即对每一个通道进行卷积操作，可以看成是每组只有一个通道的分组卷积，最后使用开销较小的1x1卷积进行通道融合，可以大大减少计算量。

非结构化模型剪枝一般指采用网络剪枝和共享技术降低网络复杂度，解决过拟合问题。有一种偏差的早期应用程序重修剪方法称为衰减(Biased Weight Decay)，最优的脑损伤(Optimal Brain Damage)和最佳的脑部手术(Optimal Brain Surgeon)方法基于损失函数的Hessia矩阵减少连接的数量。研究表明，基于损失函数的修剪方法的准确性比基于重要性的修剪方法更好。

然而，修剪和共享方法存在一些潜在的问题。首先，如果使用L1或L2正则化，剪枝方法需要更多的迭代才能收敛。此外，所有的剪枝方法都需要手动设置层的灵敏度，即需要对相关数进行精细调整，在某些应用中可能会很长很重，但是非结构化的方法对硬件的兼容性不太好，压缩过后的模型依赖于第三方的硬件库或算法库，通用性不好。

发明内容

本发明提供了一种基于深度学习的网络模型压缩方法，以降低基于深度学习对图像进行分类或目标检测识别任务的运算量。

本发明的基于深度学习的网络模型压缩方法，包括下列步骤：

设置用于图像分类或目标检测识别任务的网络模型，所述网络模型采用分组卷积和分解卷积的轻量化网络结构，包括多层卷积层；