[发明专利]一种适用于深度神经网络的通道剪枝方法

说明书

本发明涉及卷积神经网络压缩技术领域，尤其为一种适用于深度神经网络的通道剪枝方法。本发明，能够在不降低模型性能的情况下，大幅度的减少模型的存储空间和计算量，从而得到轻量化的神经网络模型，而轻量化的神经网络模型在边缘设备，车载系统中都具有一定的应用前景。

技术领域

本发明涉及卷积神经网络压缩技术领域，具体为一种适用于深度神经网络的通道剪枝方法。

背景技术

当前深度卷积神经网络在图像分类、目标检测等领域取得了巨大的成功，但随着其性能表现得越来越好，网络模型的深度越来越深，规模也越来越大，所需的存储空间和计算代价也随之增高。这使得深度神经网络技术难以应用在在日常生活中，尤其是在一些资源受限的设备上。鉴于此，如何在不降低模型性能的前提下使得模型占用尽量少的资源受到越来越多人的关注。针对这一问题，本发明采用通道剪枝的方法降低模型的尺寸，而且几乎不会影响模型的性能。

在深度神经网络模型压缩领域中，模型压缩的方法可以被分为四类：权重量化、张量分解，蒸馏和剪枝。其中权重量化和张量分解在大多数场景中都需要特定的软硬件支持才能实现，而且无法利用基本线性代数子程序库。而知识蒸馏的学生网络的结构难以确定，一般需要专业化的人为设计。剪枝由于其简单的概念和高效的表现得到越来越多的关注。

鉴于此，本发明提出一种适用于深度神经网络的通道剪枝方法。

发明内容

本发明的目的在于提供一种适用于深度神经网络的通道剪枝方法,以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种适用于深度神经网络的通道剪枝方法，包括如下步骤：

步骤1：为了方便识别出不重要的通道，分别对卷积层权重和BN层缩放因子进行L1正则化，利用稀疏化方式训练网络模型；

步骤2：联合卷积层权重和BN层缩放因子得到第l层卷积层的通道重要性向量S_l(1≤l≤L)，结合所有层的通道重要性向量得到全局的通道重要性向量S；

步骤3：在剪枝过程中，若将某一层的所有通道都判断为不重要的通道，则在该次剪枝中，取消对该层的剪枝操作，从而保留上一次剪枝后剩余的所有通道。

优选的，利用稀疏化方式训练网络模型时，其优化函数如下公式进行：

LOSS＝L(f(X,W),y)+α₁R(W)+α₂R(γ)，

其中X表示输入的数据集，y表示对应的标签，W表示所有卷积层可训练的权重集合，表示第l层卷积层权重，γ_l表示第l层的缩放因子，n_i+1是输出通道，n_i是输入通道，H是卷积核高，G是卷积核宽，γ是所有BN层缩放因子的集合，每一个输出通道都对应着一个缩放因子，α₁和α₂用以平衡正常LOSS函数和稀疏正则化项的超参数，L(f(X,W),y)是在数据集X上正常的LOSS函数，R(·)表示稀疏正则化项，在本发明中选择在卷积层权重和BN层缩放因子上分别引入L1正则化以零输出化不重要的通道，从而以便于联合权重和缩放因子共同筛选出不重要的通道，将其删除。

优选的，单个层通道重要性向量可以利用如下公式：

其中S_l是一个拥有n_i+1个数的向量，每一个值都代表着一个输出通道的重要性，因为BN层的关系，仅仅考虑单个层会误删除重要的通道。