[发明专利]基于剪枝卷积神经网络的分类方法及相关设备

说明书

本发明提供一种基于剪枝卷积神经网络的分类方法及相关设备，包括：获取待分类的图片；将待分类的图片输入剪枝后的分类模型，得到对应的分类结果；其中，剪枝后的分类模型中的分类模型权重是通过预定义的神经网络结构搜索方法对预先训练好的剪枝敏感度分析模型搜索得到；预先训练好的剪枝敏感度分析模型是基于初始分类模型、训练图片集、训练图片集对应的标签集以及权重掩码训练集训练得到。本发明能够大大节约剪枝耗时。

技术领域

本发明涉及模型剪枝技术领域，尤其涉及一种基于剪枝卷积神经网络的分类方法及相关设备。

背景技术

目前，深度学习模型需要大量算力、内存和电量。当需要执行实时推断、在设备端运行模型、在计算资源有限的情况下运行深度学习模型时，需要体积小且准确率高的深度学习模型，因而模型压缩则可以实现这一目标，模型剪枝正是模型压缩中的一种。

模型剪枝其主要用来减少卷积神经网络中的计算量，通常情况下是通过裁剪掉神经网络权重中不重要的张量来达到降低整个神经网络的计算量的目的。在对不重要的张量进行剪枝前，需要确定模型各层的稀疏率从而确定出不重要的张量。

现有的稀疏率确定方法包括：各层稀疏一致的方法与对各层分析其敏感度的方法。其中，敏感度分析方法的主要思路为：依次分析各层剪枝后的模型效果变化，以此判断各层敏感度。而要想更好地分析各层剪枝后的敏感度，需要在剪枝后对模型进行微调训练(fine-tuning训练)，如果想获得给定目标下(如特定计算量要求下)的剪枝配置，需分析所有层的剪枝敏感度，从而确定不重要的张量，剪枝过程耗时久。

发明内容

本发明提供一种基于剪枝卷积神经网络的分类方法及相关设备，用以解决上述问题。

本发明提供一种基于剪枝卷积神经网络的分类方法，包括：

获取待分类的图片；

将所述待分类的图片输入剪枝后的分类模型，得到对应的分类结果；

其中，所述剪枝后的分类模型中的分类模型权重是通过预定义的神经网络结构搜索方法对预先训练好的剪枝敏感度分析模型搜索得到；

所述预先训练好的剪枝敏感度分析模型是基于初始分类模型、训练图片集、所述训练图片集对应的标签集以及权重掩码训练集训练得到。

根据本发明提供的一种基于剪枝卷积神经网络的分类方法，所述方法还包括：

为初始分类模型中每个待分析网络层构建初始剪枝敏感度分析模型；

将权重掩码训练集输入所述初始剪枝敏感度分析模型，得到待分析网络层的初始权重；所述权重掩码训练集通过随机数生成方法生成，且所述权重掩码训练集中的每项权重掩码训练数据与剪枝率对应；

将训练图片集输入所述初始分类模型，基于每个待分析网络层的初始权重以及前向计算得到初始预测结果；

根据所述初始预测结果以及所述标签集，利用反向传播算法对所述每个待分析网络层的初始权重进行更新，得到待分析网络层的更新后权重；

根据所述待分析网络层的更新后权重，利用反向传播算法的链式法则，对所述初始剪枝敏感度分析模型中的权重进行更新，直到所述初始分类模型收敛，从而得到预先训练好的剪枝敏感度分析模型以及训练好的分类模型。

根据本发明提供的一种基于剪枝卷积神经网络的分类方法，所述将权重掩码训练集输入所述初始剪枝敏感度分析模型，得到待分析网络层的初始权重，包括：

将权重掩码训练集中的权重掩码训练数据输入多个卷积网络，以生成特征图；以及

融合特征图与权重掩码训练数据，以生成待分析网络层的初始权重。

根据本发明提供的一种基于剪枝卷积神经网络的分类方法，所述方法还包括：