[发明专利]基于剪枝卷积神经网络的分类方法及相关设备

说明书

本发明提供一种基于剪枝卷积神经网络的分类方法及相关设备，包括：基于训练数据以及训练数据对应的标签训练得到预先训练好的分类模型；在预设的模型目标性能基础上通过对预先训练好的分类模型分别进行结构化剪枝与非结构化剪枝后得到剪枝后的分类模型；获取待分类的图片；将待分类的图片输入剪枝后的分类模型，得到对应的分类结果。本发明能够在预设的模型目标性能基础上对分类模型实现混合剪枝，从而最大程度上压缩简化模型。

技术领域

本发明涉及模型剪枝技术领域，尤其涉及一种基于剪枝卷积神经网络的分类方法及相关设备。

背景技术

模型剪枝是神经网络模型压缩领域的常用方法，用来压缩模型大小以及加速模型计算，通常情况下是通过裁剪掉神经网络权重中不重要的张量来达到降低整个神经网络的计算量的目的。按照剪枝粒度由小到大来分，具体的剪枝粒度包括：细粒度剪枝(fine-grained)、向量剪枝(vector-level)、核剪枝(kernel-level)、滤波器剪枝(Filter-level)以及层剪枝(layer-level)。

其中，细粒度剪枝就是对连接或者神经元进行剪枝，它是粒度最小的剪枝。向量剪枝相对于细粒度剪枝粒度更大，属于对卷积核内部(intra-kernel)的剪枝。核剪枝则是去除某个卷积核，它将丢弃对输入通道中对应计算通道的响应。滤波器剪枝是对整个卷积核组进行剪枝，会造成推理过程中输出特征通道数的改变。

上述细粒度剪枝、向量剪枝、核剪枝方法在参数量与模型性能之间取得了一定的平衡，但是网络的拓扑结构本身发生了变化，需要专门的算法设计来支持这种稀疏的运算，被称之为非结构化剪枝。

而滤波器剪枝只改变了网络中的滤波器组和特征通道数目，所获得的模型不需要专门的算法设计就能够运行，被称为结构化剪枝。除此之外还有对整个网络层的剪枝，它可以被看作是滤波器剪枝的变种，即所有的滤波器都丢弃。

混合剪枝就是从不同剪枝粒度入手对整个模型进行剪枝，而现有混合剪枝，常以压缩率为目标来剪枝模型，但剪枝之后模型性能下降多少无法控制，且在混合剪枝时，仅混合1-2种剪枝粒度，不能充分挖掘既定目标下的模型剪枝极限。

因此，如何在既定剪枝目标下通过混合多种剪枝粒度来最大程度压缩简化模型是亟需解决的问题。

发明内容

本发明提供一种基于剪枝卷积神经网络的分类方法及相关设备，用以解决上述问题。

本发明提供一种基于剪枝卷积神经网络的分类方法，包括：

基于训练数据以及训练数据对应的标签训练得到预先训练好的分类模型；

在预设的模型目标性能基础上通过对所述预先训练好的分类模型分别进行结构化剪枝与非结构化剪枝后得到剪枝后的分类模型；

获取待分类的图片；

将所述待分类的图片输入所述剪枝后的分类模型，得到对应的分类结果。

根据本发明提供的一种基于剪枝卷积神经网络的分类方法，所述结构化剪枝包括卷积层剪枝与过滤器剪枝；

相应地，所述剪枝后的分类模型是在预设的模型目标性能基础上通过对预先训练好的分类模型分别进行结构化剪枝与非结构化剪枝后得到，包括：

S1、对预先训练好的分类模型中的每个卷积层的各个过滤器进行过滤器剪枝敏感度分析，得到满足预设的模型目标性能的最大卷积层剪枝率；

S2、判断所述最大卷积层剪枝率是否大于预设的卷积层剪枝率阈值；

在所述最大卷积层剪枝率大于预设的卷积层剪枝率阈值的情况下，对所述最大卷积层剪枝率所对应的卷积层进行卷积层剪枝；

在所述最大卷积层剪枝率不大于预设的卷积层剪枝率阈值的情况下，对所述最大卷积层剪枝率所对应的过滤器进行过滤器剪枝；