[发明专利]用于调整神经网络模型的剪枝方法及其装置、电子设备

说明书

本发明公开了一种用于调整神经网络模型的剪枝方法及其装置、电子设备，涉及人工智能领域，其中，该剪枝方法包括：采用预设评估策略对神经网络模型中每个神经元进行评估，得到评估值集合，在对每个神经元进行评估的次数达到预设次数阈值的情况下，得到多个神经元集合，依据评估值集合和映射关系，采用目标排序策略对多个神经元集合中的所有神经元进行排序，得到排序结果，基于排序结果，选取预设数量的目标神经元，得到目标神经元集合，裁剪目标神经元集合中的每个目标神经元，并且在裁剪结束后，依据裁剪结果调整神经网络模型，得到调整后的目标神经网络模型。本发明解决了相关技术中剪枝之后的神经网络模型精度下降过快的技术问题。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种用于调整神经网络模型的剪枝方法及其装置、电子设备。

背景技术

人工智能技术的飞速发展为计算机视觉(CV)技术带来了巨大的进步。随着神经网络模型层数的不断加深，模型的准确率也在不断提高，但是模型的计算复杂度也越来越大，模型需要在GPU甚至TPU上训练。巨大的计算量限制了许多深度学习技术，这些技术只能迁移到云端，不能应用于移动设备。

为了缓解上述问题，相关技术中提出了多种模型压缩和加速算法，其中，剪枝算法是经典算法之一。剪枝算法作为一种常见的模型压缩和加速算法，可以有效地降低网络复杂度和计算量。然而，剪枝算法的训练时间较长，在剪枝复杂任务时，剪枝的准确率下降过快。

图1是根据现有技术中的一种可选的模型剪枝的示意图，如图1所示，剪枝过程如下：对于某一神经网络模型，可以先评估神经元的重要程度，移除最不重要的神经元，然后微调神经网络模型，判断是否继续剪枝，如果继续，则再次评估神经元的重要程度以及后续剪枝步骤，否则停止剪枝。

然而，现有的剪枝方法存在如下问题：

(1)模型微调时间长：根据图1中的剪枝过程可知，每次评估完并移除掉不重要的神经元之后，都需要微调神经网络模型，微调模型是整个剪枝过程中最浪费时间的步骤。然而，现有的剪枝方法每次仅移除最不重要的神经元，当没有强大计算力的时候，整个训练过程可能会持续几周时间。

(2)模型裁剪后精度下降快：当每次裁剪掉多个神经元(feature maps)时，模型的精度下降过快，尤其是对于复杂任务，模型精度的下降速率使得模型失去了压缩的意义。这一方面是因为模型的结构一次性改变过大，使得模型难以恢复；另一方面是因为裁剪掉的feature maps中存在不该被剪掉的情况。

(3)评估神经元重要程度的方法只对简单任务有效，而对复杂任务无效：现有的剪枝方法中的很多评估神经元重要程度的方法，在很多简单的图像识别任务中效果明显，但在一些需要迁移的复杂的任务中没有效果。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用于调整神经网络模型的剪枝方法及其装置、电子设备，以至少解决相关技术中剪枝之后的神经网络模型精度下降过快的技术问题。

根据本发明实施例的一个方面，提供了一种用于调整神经网络模型的剪枝方法，包括：采用预设评估策略对神经网络模型中每个神经元进行评估，得到评估值集合，其中，所述神经网络模型包含有多个神经元，所述预设评估策略对应有目标排序策略，所述评估值集合中的每个评估值与对应的所述神经元建立映射关系；在对每个所述神经元进行评估的次数达到预设次数阈值的情况下，得到多个神经元集合；依据所述评估值集合和所述映射关系，采用所述目标排序策略对所述多个神经元集合中的所有所述神经元进行排序，得到排序结果；基于所述排序结果，选取预设数量的目标神经元，得到目标神经元集合；裁剪所述目标神经元集合中的每个所述目标神经元，并且在裁剪结束后，依据裁剪结果调整所述神经网络模型，得到调整后的目标神经网络模型，其中，所述目标神经网络模型用于处理输入图像。