[发明专利]一种卷积神经网络的剪枝方法、装置、设备和介质

说明书

本发明提供一种卷积神经网络的剪枝方法、装置、设备和介质，方法包括：获取图像的数据集并分为训练集与验证集；将待剪枝的卷积神经网络模型进行初始化后，对训练集中的图像进行多轮预训练，确定网络的敏感层；通过强化学习进行多轮自动化剪枝操作，得到每轮剪枝操作的模型精确度，从而获得模型精度最高的模型剪枝策略；其间，根据强化学习的确定性策略，对网络的敏感层和非敏感层实行不同的压缩策略，来对各网络层的滤波器数量进行剪枝；执行微调操作，得到最终的卷积神经网络模型。本发明从模型剪枝的最开始就介入强化学习，根据环境优化模型的剪枝策略，且剪枝的对象是完整滤波器，不会造成模型的不规则，大大提高了泛化性。

技术领域

本发明涉及计算机技术领域，特别涉及一种卷积神经网络的剪枝方法、装置、设备和介质。

背景技术

近年来，一方面深度更深的神经网络的研究所获得的模型效果越来越好，另一方面，随着无人驾驶与智能移动设备等相关领域的不断发展与创新，对适合应用于计算能力较弱的边缘设备上的深度神经网络模型的要求也在逐渐提高。而由于深度神经网络的特性，将其部署在移动设备上时，其所包含的参数量以及浮点计算量都是极其庞大的。例如，使用107层深度的YOLO v3网络检测416×416分辨率的图像时将产生240MB的参数和进行多达650亿次的乘法累加计算。在45nm CMOS工艺下，该目标检测方法仅仅访问DRAM即耗能41.6W。此外，在GPU上运行该模型进行实时目标检测成本高昂。例如，在NVIDIA Tesla T4上运行YOLO v3每秒可实时检测40帧图像，但该模块市场售价近三万元，远超出普遍经济承受能力。现有的神经网络模型很难做到在低成本设备上对模型精确性与计算速度的兼顾。

随着移动边缘设备的发展，其对精度的高依赖正逐步转化为在保持精度不降低或者仅略微降低的情况下尽可能的保证低的存储空间占用以及次数少的浮点计算量。基于这样一种趋势，必须对卷积神经网络模型进行剪枝，从而可以将原本应用于高性能计算机上的神经网络经压缩后，用于部署于移动边缘设备上。然而现有的神经网络的剪枝方法存在如下不足：

(1)现有的神经网络的剪枝方法大都需要人工专家不断调节参数来达到最佳的剪枝效果，从实际效果来说十分耗时，同时达到的效果容易出现局部最佳或者次优的情况。

(2)现有的模型剪枝方法着眼于模型中的权重修剪，此方式需要特定的硬件支持，泛化性较差。同时绝大多数剪枝策略都是基于规则的启发式方法，此类方法着重于滤波器重要性的排序与修剪，这样的方式很可能导致次优修剪。

20210105公开的，公开号为CN112183746A的中国发明公开了一种敏感度分析和强化学习的神经网络剪枝方法、系统及装置，包括：设定稀疏度阈值步骤，选择低敏感度的权重进行剪枝；获取裁剪办法和精度步骤，根据上述的敏感度权重确定需要进行随机剪枝的权重；对被选定的每一个权重进行随机裁剪，将多次随机裁剪的剪枝办法和精度放入缓冲区；训练强化学习步骤，利用缓冲区中的数据训练强化学习代理，训练后生成的裁剪办法和精度放入缓冲区；重复进行，直到网络精度达到预设值。本发明选择低敏感度的权重进行剪枝，设定各权重的稀疏度阈值保证被裁剪的权重采用当前稀疏度进程裁剪后，网络下降的精度保持在预设范围以内。在保证网络精度的情况下，最大化的提升了神经网络的压缩率。但是该发明是先针对神经网络模型的权重进行剪枝，然后微调，最后获得精度数据。如此多次重复以后将前面的剪枝的方法与对应的精度进行记录，以此训练强化学习，最后通过强化学习进行预测，实为一种服从正态分布中的随机策略，从而导致强化学习的实际应用并不充分。同时，该发明是针对权重而非完整滤波器进行的模型剪枝操作，势必会造成模型的不规则，在实际使用中泛化性差，还需要特定的硬件支持。

发明内容

本发明要解决的技术问题，在于提供一种卷积神经网络的剪枝方法、装置、设备和介质，从模型剪枝的最开始就介入强化学习，根据环境优化模型的剪枝策略，其为一种确定的策略，且剪枝的对象是完整滤波器，不会造成模型的不规则，大大提高了泛化性。

第一方面，本发明提供了一种卷积神经网络的剪枝方法，包括下述步骤：