[发明专利]一种对网络模型的剪枝方法、装置、电子设备及存储介质

说明书

本申请实施例所公开的一种对网络模型的剪枝方法、装置、电子设备及存储介质，包括获取训练图像集和当前网络模型，将训练图像输入当前网络模型中，根据当前网络模型的输出确定多个卷积层中每个卷积层对应的参数，基于每个卷积层对应的预设剪枝率，对每个卷积层对应的参数进行衰减处理，得到衰减参数，若衰减参数与预设阈值的差值在预设区间内，剔除卷积层中与衰减参数对应的参数，得到剪枝后的网络模型。基于本申请实施例，通过对卷积层对应参数进行衰减处理，迫使待剔除参数的卷积层对应的参数学习的知识转移，在减少参数量的同时，不增加训练负担，并且可以保证网络模型的识别准确率。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种对网络模型的剪枝方法、装置、电子设备及存储介质。

背景技术

近年来，随着深度学习技术的不断发展，网络模型变得越来越复杂，网络模型中的参数量也越来越大，这给深度学习网络模型的实际应用带来了很大的计算负担。然而，经过人们的研究发现，一个训练后的网络模型中往往存在很多冗余参数，将这些冗余参数剔除后再经过一定的微调也可以使得网络模型恢复剔除前的性能。例如，ResNet-50拥有50层卷积层，整个模型一共需要约95MB的存储空间，但是在剔除75％的参数后仍然可以正常工作，而且还可以降低运行时间多达50％。因此，剔除网络模型中的冗余参数，即对网络模型进行剪枝可以将模型轻量化，使其易于在实际场景中进行部署与应用。

现有技术中网络模型进行剪枝主要分为在训练中稀疏化和在训练后剪枝两大类。其中，在训练中稀疏化具体是在训练模型的过程中对模型的参数或者结构施加稀疏化约束，进而得到稀疏的参数或者结构，以此可以减小模型的大小，减少推理所耗时间，提升推理速度。在训练后剪枝具体是对训练好的模型中不重要的权重进行删除处理，以使得网络模型稀疏化、精简化。然而，在训练后剪枝的处理方法中，删除不重要的权重后网络模型的精度往往会有所下降。因此，一般都需要对训练后剪枝的网络模型进行微调以使其恢复性能。

发明内容

本申请实施例提供一种对网络模型的剪枝方法、装置、电子设备及存储介质，可以在减少参数量的同时，不增加训练负担，并且可以保证网络模型的识别准确率。

本申请实施例提供了一种对网络模型的剪枝方法，该方法包括：

获取训练图像集和当前网络模型；当前网络模型包含多个卷积层；

基于训练图像集对当前网络模型进行剪枝处理，得到剪枝后的网络模型；

其中，剪枝处理的步骤包括：

将训练图像输入当前网络模型中，根据当前网络模型的输出确定多个卷积层中每个卷积层对应的参数；

基于每个卷积层对应的预设剪枝率，对每个卷积层对应的参数进行衰减处理，得到衰减参数；

若衰减参数与预设阈值的差值在预设区间内，剔除卷积层中与衰减参数对应的参数，得到剪枝后的网络模型。

进一步地，得到剪枝后的网络模型之后，该方法还包括：

将剪枝后的网络模型重新确定为当前网络模型，返回执行基于训练图像集对当前网络模型进行剪枝处理，得到剪枝后的网络模型的步骤。

进一步地，将训练图像输入当前网络模型中，根据当前网络模型的输出确定多个卷积层中每个卷积层对应的参数，包括：

将训练图像输入当前网络模型中，根据当前网络模型的输出确定多个卷积层中每个卷积层输出的特征图集；

确定每个卷积层输出的特征图集对应的参数；

根据预设映射关系和每个卷积层输出的特征图集对应的参数，确定每个卷积层对应的参数。

进一步地，基于每个卷积层对应的预设剪枝率，对每个卷积层对应的参数进行衰减处理，得到衰减参数，包括：