[发明专利]神经网络剪枝方法及装置、可读介质和电子设备

说明书

本公开提供一种神经网络剪枝方法及装置、计算机可读介质和电子设备，涉及人工智能技术领域。该方法包括：获取待剪枝的初始卷积神经网络对应的剪枝搜索空间，所述剪枝搜索空间包括所述初始卷积神经网络中各卷积层对应的可选剪枝率；通过预训练的搜索网络在所述可选剪枝率中搜索确定用于所述初始卷积神经网络的目标剪枝率组合；根据所述目标剪枝率组合对所述初始卷积神经网络进行剪枝处理，得到目标卷积神经网络。本公开能够结合剪枝搜索空间以及搜索网络实现卷积神经网络的搜索式结构化剪枝，自动化搜索并能够找到最优的剪枝率组合，不需要引入人工设计规则，操作更加简单，适用范围广。

技术领域

本公开涉及人工智能技术领域，具体涉及一种神经网络剪枝方法、神经网络剪枝装置、计算机可读介质和电子设备。

背景技术

深度学习在计算机视觉(Computer Vision，CV)、语音识别、自然语言处理(Natural Language Processing，NLP)等领域取得较显著的成绩。在不同类型的深度神经网络中，卷积神经网络(Convolutional Neural Networks，CNN)得到了最广泛的研究，同时卷积神经网络往往伴随着海量计算量，这对于深度学习落地带来挑战，而人工设计的网络模型往往在处理具体深度学习任务的时候具有计算冗余，因此针对卷积神经网络的模型压缩近年来成为研究热点。

针对人工设计的网络结构，常用的模型压缩方法包括量化(Quantization)、剪枝(Pruning)、蒸馏(Distillation)，此外自动设计网络模型(Neural Architecture Search，NAS)技术可实现卷积神经网络结构的自学习设计，也属于模型压缩领域的范畴。其中，剪枝可以通过减少模型计算量实现模型压缩，目前常用的剪枝技术按照剪枝颗粒度可以分为结构化剪枝(以卷积层通道或卷积核为维度)与非结构化剪枝(以卷积层卷积核的元素为维度)。

目前，相关的结构化剪枝方案中，一般采用度量值Metric来评估通道或卷积核的重要程度，度量值Metric的训练分布及选择均需要人工参与，常用的度量Metric包括卷积核的范数或梯度、批量归一化层的Scale参数等。但是，这种引入大量人工操作的结构化剪枝方法操作难度较大，并且对CV任务的泛化能力较差，剪枝效率较低。

发明内容

本公开的目的在于提供一种神经网络剪枝方法、神经网络剪枝装置、计算机可读介质和电子设备，进而至少在一定程度上提高结构化剪枝方法的自动搜索能力，避免人工参与，降低操作难度，提升剪枝效率，并且提升对CV任务的泛化能力。

根据本公开的第一方面，提供一种神经网络剪枝方法，包括：

获取待剪枝的初始卷积神经网络对应的剪枝搜索空间，所述剪枝搜索空间包括所述初始卷积神经网络中各卷积层对应的可选剪枝率；

通过预训练的搜索网络在所述可选剪枝率中搜索确定用于所述初始卷积神经网络的目标剪枝率组合；

根据所述目标剪枝率组合对所述初始卷积神经网络进行剪枝处理，得到目标卷积神经网络。

根据本公开的第二方面，提供一种神经网络剪枝装置，包括：

剪枝搜索空间获取模块，用于获取待剪枝的初始卷积神经网络对应的剪枝搜索空间，所述剪枝搜索空间包括所述初始卷积神经网络中各卷积层对应的可选剪枝率；

剪枝率组合确定模块，用于通过预训练的搜索网络在所述可选剪枝率中搜索确定用于所述初始卷积神经网络的目标剪枝率组合；

卷积神经网络剪枝模块，用于根据所述目标剪枝率组合对所述初始卷积神经网络进行剪枝处理，得到目标卷积神经网络。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：