[发明专利]基于残差结构剪枝的模型压缩方法、装置、设备及介质

说明书

本发明实施例公开了一种基于残差结构剪枝的模型压缩方法、装置、设备及介质，其中方法包括：对目标检测网络模型进行神经网络训练以获取mAP基线；在对目标检测网络模型的损失函数添加针对BN层缩放因子的范数之后对模型进行训练；在完成训练后，根据缩放因子的大小对训练完成后的目标检测网络模型进行剪枝处理；对剪枝处理后的目标检测网络模型进行微调训练。本发明通过对残差结构的BN层进行剪枝的策略，能够有效地进一步地减少大型卷积神经网络模型运算处理的时间和需要存储空间，成功解决了模型计算量过大以及模型体积过大导致的算力以及储存空间不足的问题，降低了模型运算处理的时间复杂度和空间复杂度，使之可以在边缘设备上部署。

技术领域

本发明涉及图像处理技术，更具体地说是一种基于残差结构剪枝的模型压缩方法、装置、设备及介质。

背景技术

近年来，卷积神经网络(CNN)已成为各种计算机视觉任务的主要方法，例如图像分类，目标检测，语义分割。大规模数据集，高端现代的GPU和新的网络架构使得大型卷积神经网络模型得到了前所未有的开发。然而，拥有更强大能力的大型卷积神经网络模型却往往会要求更多的资源。卷积神经网络模型在实际应用中的部署是主要受制于：模型的大小，运行时的内存需求和浮点运算数的数量要求。

与此同时，人车非检测算法作为智能算法中不可或缺的一项技术，对监控场景中的人、车、非机动进行自动检测与跟踪，将画面中的人车非目标数据进行自动提取，另外还提供了周界报警等应用的逻辑层封装。包括YOLOv5在内的大型卷积神经网络模型在此任务上有着非常不俗的检测准确率与召回率。然而，在某些实际搭载的设备比如智能摄像机等边缘设备，计算资源和存储资源有限，而大型卷积神经网络模型需要执行大量的浮点运算，并且有大量权重参数，比如ResNet需要执行5GFLOPs，有24M个参数，这种情况严重制约了大型卷积神经网络模型的实际应用。因此，现有技术方案无法同时满足高准确率，少参数量/少FLOPs数量的要求。对于人车非监测的应用来说，现有技术无法在保持一定的检测准确率的同时，拥有更高的FPS又支持更小的内存/存储空间。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种基于残差结构剪枝的模型压缩方法、装置、设备及介质。

为实现上述目的，本发明采用以下技术方案：

一方面，基于残差结构剪枝的模型压缩方法，所述方法包括：

对目标检测网络模型进行神经网络训练以获取mAP基线；

在对目标检测网络模型的损失函数添加针对BN层缩放因子的范数之后对模型进行训练；

在完成训练后，根据缩放因子的大小对训练完成后的目标检测网络模型进行剪枝处理；

对剪枝处理后的目标检测网络模型进行微调训练。

其进一步技术方案为：所述的在完成训练后，根据缩放因子的大小对训练完成后的目标检测网络模型进行剪枝处理，具体包括：

提取所有可剪枝BN层的通道的权重以及所有可剪枝BN层对应的正则化参数；

从大到小排列所有可剪枝BN层对应的正则化参数，并根据设定的剪枝幅度确定出正则化参数阈值；

根据正则化参数阈值计算出每一个可剪枝的BN层的剪枝通道和剩余通道，即为目标结构；

创建针对目标结构的新模型；

将正则化参数大于正则化参数阈值的通道的权重从已训练好的目标检测网络模型中复制到新模型中。

其进一步技术方案为：所述针对BN层缩放因子的范数为L1范数。

第二方面，基于残差结构剪枝的模型压缩装置，所述装置包括第一训练单元、第二训练单元、剪枝单元和微调训练单元；