[发明专利]一种对预训练的神经网络模型进行剪枝的方法

说明书

本发明实施例提供了一种对预训练的神经网络模型进行剪枝的方法，其中将所述预训练的神经网络模型作为基线模型，包括：S1、选择所述基线模型中需要剪枝的网络层作为目标网络层；S2、获取目标网络层中多个卷积核的各权重参数对应的梯度值；S3、针对所述目标网络层，基于每个卷积核的各权重参数对应的梯度值确定该卷积核中重要的权重参数的数量；S4、针对所述目标网络层，根据其所有的卷积核中重要的权重参数的数量对所述目标网络层进行剪枝；S5、对剪枝后的模型进行重训练，得到压缩后的模型。本发明提高了剪枝的精度、效率。

技术领域

本发明涉及神经网络处理领域，具体来说涉及神经网络模型的压缩技术领域，更具体地说，涉及一种对预训练的神经网络模型进行剪枝的方法。

背景技术

深度学习为计算机视觉任务带来了巨大提升，但复杂的网络模型需要高额的存储空间和计算资源。在计算机视觉任务中，无论是图像分类还是目标识别，通常在提取图像特征时都需要卷积层作为基本的网络结构，在下游任务中涉及到分类或者回归时需要全连接层作为基本的网络结构。在目标识别中，因识别目标的复杂性，还会采用其他的网络结构。

随着残差网络(Residual Networks，ResNet)的提出，缓解了深度神经网络的训练退化问题，使得训练上千层的网络成为可能。但是网络层数越多，网络结构越复杂，模型在部署上需要的内存和计算资源就越高。尤其是目标检测网络，为了实现小目标检测、遮挡目标识别等问题会引入其他的网络结构提升检测的精度。为了在保证精度的情况下减小模型的计算量和参数量，很多压缩神经网络的方法被提出来，常见的压缩方法包括：低秩分解、剪枝、量化、知识蒸馏、紧凑的网络设计等，其中剪枝和量化是该领域的研究热点。

剪枝算法可以分为非结构化剪枝和结构化剪枝算法两种。非结构化剪枝算法的精度损失较小，但是受到特定算法库和硬件平台的限制，实际应用相对较少。结构化剪枝算法对卷积核、通道数进行剪枝，剪枝策略十分有效，但是剪枝精度相对较低。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种对预训练的神经网络模型进行剪枝的方法。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种对预训练的神经网络模型进行剪枝的方法，其中将所述预训练的神经网络模型作为基线模型，包括：S1、选择所述基线模型中需要剪枝的网络层作为目标网络层；S2、获取目标网络层中多个卷积核的各权重参数对应的梯度值；S3、针对所述目标网络层，基于每个卷积核的各权重参数对应的梯度值确定该卷积核中重要的权重参数的数量；S4、针对所述目标网络层，根据其所有的卷积核中重要的权重参数的数量对所述目标网络层进行剪枝；S5、对剪枝后的模型进行重训练，得到压缩后的模型。

在本发明的一些实施例中，所述需要剪枝的网络层按照以下方式中的一种或者多种方式确定：通过层号或网络层名称选择特定的网络层作为需要剪枝的网络层，或者将网络层的计算量大于等于预设的计算量阈值的网络层作为需要剪枝的网络层，或者将网络层的权重参数的参数量大于等于预设的参数量阈值的网络层作为需要剪枝的网络层，或者将网络层的计算量占比大于等于预设的计算量占比阈值的网络层作为需要剪枝的网络层，或者将网络层的权重参数的参数量占比大于等于预设的参数量占比阈值的网络层作为需要剪枝的网络层。

在本发明的一些实施例中，所述S3包括：S31、计算每个卷积核的所有权重参数对应的梯度值中绝对值最大的梯度值，根据设置的搜索步数上限和所述绝对值最大的梯度值的绝对值确定该卷积核的多个搜索阈值；S32、每步搜索利用每个卷积核各自对应的多个搜索阈值中的一个搜索阈值搜索权重参数对应的梯度绝对值大于等于该搜索阈值的权重参数的个数，直至相邻两步搜索出的权重参数的个数的绝对差值小于设定停止阈值时停止搜索，其中，当前的搜索步数越接近搜索步数上限其对应的搜索阈值越接近当前目标网络层中绝对值最大的梯度值的绝对值；S33、将权重参数对应的梯度绝对值大于等于停止搜索时对应的搜索阈值的权重参数的个数作为该卷积核中重要的权重参数的数量。