[发明专利]深度神经网络剪枝方法、装置、终端及存储介质

说明书

本发明公开一种深度神经网络剪枝方法，包括以下步骤：以堆叠多个卷积块的方式构建全卷积深度神经网络模型；计算每个卷积块的计算强度；设计损失函数，对深度神经网络进行稀疏化训练，获得网络模型参数；提取出每个卷积块的的gamma值，进行剪枝操作；根据Mask的值重新整合深度神经网络，得到新的参数结构，并应用到边缘端GPU计算。本发明提供的深度神经网络剪枝方法，对每个卷积层分别进行计算强度的计算，从计算强度的角度出发设计剪枝惩罚系数函数，每层卷积块的剪枝惩罚系数与该卷积块的计算强度正相关，计算强度越大的卷积块，惩罚系数越大，明显的降低了计算耗时，提升了边缘端的计算速度以及模型预测的准确率。

【技术领域】

本发明涉及模型剪枝技术领域，尤其涉及一种深度神经网络剪枝方法、装置、终端及存储介质。

【背景技术】

随着人工智能技术的发展，深度神经网络的普及，对设备的算力需求激增。例如，越来越多的机器人等边缘端设备会挂载或集成微型图形计算单元GPU，通常，这类边缘端微型GPU算力与带宽有限，在一些对计算实时性要求较高的场景，GPU无法及时完成深度神经网络的计算，因此，需要对深度神经网络进行优化。神经网络剪枝，是人工智能领域中一种常见的技术，其中通道剪枝技术(channel prune)应用最广，该技术对深度神经网络中一些特定层施加统一的约束条件，可以达到对网络“瘦身”目的。

然而，在深度神经网络中，不同位置的卷积层，所需计算量和数据访存量也不同，统一处理并不能高效地对网络“瘦身”，尤其在边缘端资源有限的GPU设备上，一般的通道剪枝技术修剪的深度神经网络往往与GPU不适配，导致深度神经网络计算消耗的时间下降不明显。

鉴于此，实有必要提供一种深度神经网络剪枝方法、装置、终端及存储介质以克服上述缺陷。

【发明内容】

本发明的目的是提供一种深度神经网络剪枝方法、装置、终端及存储介质，旨在解决现有的通道剪枝技术中对不同卷积层进行统一处理时并不能高效地网络“瘦身”的问题，根据每层卷积层的计算强度设定权重、加权的剪枝策略，能让深度神经网络性能速度达到最优，计算消耗的时间下降明显。

为了实现上述目的，本发明第一方面是提供一种深度神经网络剪枝方法，应用于边缘端GPU计算，包括以下步骤：

以堆叠多个卷积块的方式构建全卷积深度神经网络模型；其中，每个卷积块均包括卷积层、批归一化层及激活层；

计算每个卷积块的计算强度；

设计损失函数，对所述深度神经网络进行稀疏化训练，获得网络模型参数；其中，所述损失函数定义为：Loss＝Loss_ce+ΣWeight[i]*||gamma[i]||，其中，Weight[i]＝alpha*sqrt(Intensity[i]/Intensity_base)，Weight[i]为第i个卷积块的惩罚系数(i＝1,2,3,4，…，N，N为卷积块的数量)，Alpha为惩罚系数常量，Intensity[i]为第i个卷积块的计算强度，Intensity_base为最后一层卷积块的计算强度，Loss_ce为交叉熵损失函数，gamma[i]为第i个卷积块的gamma值；

提取出所述每个卷积块的的gamma值，根据下列公式进行剪枝操作：Mask[i]＝||gamma[i]||0.0001；其中，Mask＝1表示保留通道；Mask＝0表示删除通道；

根据Mask的值重新整合所述深度神经网络，得到新的参数结构，并应用到所述边缘端GPU计算。

在一个优选实施方式中，所述以堆叠多个卷积块的方式搭建全卷积深度神经网络步骤中包括：

设置训练数据集；

采用预设的属性参数配置卷积层；其中，所述属性参数包括卷积窗口、卷积跨度、输入通道数及输出通道数；

将所述卷积层、所述批归一化层及所述激活层组合成卷积块；