[发明专利]卷积神经网络模型剪枝方法和装置、电子设备、存储介质

说明书

本公开实施例提供卷积神经网络模型剪枝方法和装置、电子设备、存储介质，涉及人工智能技术领域。该卷积神经网络模型剪枝方法，包括：获取待剪枝模型的损失函数，对损失函数进行泰勒展开，得到第一参数重要性指标值和第二参数重要性指标值；根据第一参数重要性指标值和第二参数重要性指标值计算每个滤波器对应的剪枝重要性指标；根据预设剪枝率和每个滤波器对应的剪枝重要性指标，对待剪枝模型进行剪枝得到剪枝模型。本实施例考虑滤波器之间的关系以及模型中每个卷积层内部滤波器的冗余信息，量化滤波器的重要性，提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度。

技术领域

本发明涉及人工智能技术领域，尤其涉及卷积神经网络模型剪枝方法和装置、电子设备和存储介质。

背景技术

随着互联网技术和人工智能的发展，基于卷积神经网络的模型在很多任务中都表现出了很好的性能，例如用于目标检测的卷积神经网络模型应用较广，模型但这些模型在使用时都需要巨大的计算开销和内存占用，由于这些模型中通常会含有大量的冗余信息，因此，对模型进行压缩以减少使用过程中的计算开销和内存占用成为必不可少的一步。模型剪枝作为模型压缩技术的一个重要方向，目前深度学习模型中的检测模型和分割模型可以通过剪枝取出冗余参数，尽可能保证模型精度，对模型大小进行压缩，同时提高模型运算速度。但是目前的模型剪枝选取剪枝滤波器的方法仅考虑单个滤波器的信息，没有考虑滤波器之间的关系，也没有考虑模型中每个卷积层内部滤波器的冗余信息，使得卷积神经网络模型的剪枝准确率和模型压缩精度低。

发明内容

本公开实施例的主要目的在于提出一种卷积神经网络模型剪枝方法和装置、电子设备和存储介质，能够提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度。

为实现上述目的，本公开实施例的第一方面提出了一种卷积神经网络模型剪枝方法，包括：

获取待剪枝模型的损失函数，所述待剪枝模型为卷积神经网络模型；

在每个所述滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值；

在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值；

根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标；

根据预设剪枝率和每个所述滤波器对应的所述剪枝重要性指标，对所述待剪枝模型进行剪枝得到剪枝模型。

在一些实施例，所述待剪枝模型的损失函数为：交叉熵损失函数、L1范数损失函数和L2范数损失函数中一种。

在一些实施例，所述在每个所述滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值，包括：

在每个所述滤波器对应的模型权重参数集的邻域内对所述损失函数进行一阶泰勒展开，得到所述第一参数重要性指标值；

所述第一参数重要性指标值表示为：

其中，I_m1表示第m个滤波器的第一参数重要性指标值，E(D,W)表示所述待剪枝模型的损失函数，w_m表示第m个滤波器的所述权重参数。

在一些实施例，所述在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值，包括：

在每个所述滤波器对应的批规范化层中缩放因子的邻域内对每个所述滤波器的所述损失函数进行一阶泰勒展开，得到所述第二参数重要性指标值；

所述第二参数重要性指标值表示为：