[发明专利]深度卷积神经网络剪枝方法、装置、电子设备及介质

说明书

本公开提供了一种深度卷积神经网络剪枝方法、装置、电子设备及介质，涉及人工智能技术领域。所述方法包括：获取用于对预训练的卷积神经网络CNN模型进行剪枝的硬件设备的屋顶Roofline模型；根据所述硬件设备的Roofline模型计算所述CNN模型的各卷积层的目标剪枝率；根据所述目标剪枝率对CNN模型的各卷积层进行剪枝；当剪枝后的CNN模型的参数满足预设条件时，生成剪枝CNN模型。本公开提供了一种深度卷积神经网络剪枝方法、装置、电子设备及介质，根据硬件设备的Roofline模型自动计算出CNN模型各卷积层的目标剪枝率，根据目标剪枝率为网络层进行非结构化剪枝，提高剪枝后的模型在硬件设备上的执行效率，能够大幅度降低剪枝后模型的存储、计算负载。

背景技术

近年来，深度学习在模式识别领域取得了惊人的成绩。作为深度学习领域的代表性算法之一的深度卷积神经网络(Deep Convolution Neural Network，DCNN)在计算机视觉领域，包括图像分类、目标检测、视频处理等任务中，都取得了非常出色的成绩，社会各行各业研究人员通过人工智能相关算法部署到实际产品中，并取得了更加智能化的效果，进而促进了人工智能新一轮研究高潮的到来。

在深度卷积神经网络中，某一层的输入是其之前神经层的输出，然而，深度神经网络在实际应用部署时，需要巨大的存储空间和高额的计算资源消耗，很难应用在一些移动端和嵌入式设备中。因此，深度神经网络模型压缩和加速方法已经被学术和工业界重视起来，相关成果也为人工智能技术落地提供了重要保障。

在相关技术中，根据滤波器的重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器，以对不重要的滤波器进行剪枝；或者，以批次归一化(Batch Normalization，BN)层中的放缩因子γ作为评判该网络连接重要性的手段，基于该手段设计稀疏训练的目标函数，将训练好的稀疏网络按照设定的剪枝率进行网络裁剪。还有的相关技术中，联合卷积层权重和BN层缩放因子共同评估通道的重要性，利用稀疏化方式训练网络模型。

然而，现有的剪枝方法均只从模型参数出发进行剪枝，造成剪枝后的算法在硬件上部署的效率无法保证的技术问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种深度卷积神经网络剪枝方法、装置、电子设备及介质，至少在一定程度上克服相关技术中的卷积神经网络剪枝后的算法在硬件上的部署效率低下的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种深度卷积网络剪枝方法，包括：

获取用于对预训练的卷积神经网络CNN模型进行剪枝的硬件设备的屋顶Roofline模型；

根据所述硬件设备的Roofline模型计算所述CNN模型的各卷积层的目标剪枝率；

根据所述目标剪枝率对CNN模型的各卷积层进行剪枝；

当剪枝后的CNN模型的参数满足预设条件时，生成剪枝CNN模型。

在本公开的一个实施例中，所述获取用于对预训练的卷积神经网络CNN模型进行剪枝的硬件设备的屋顶Roofline模型，包括：

根据硬件设备的计算强度上限和外部访存带宽计算得到硬件设备的理论性能和计算强度之间的函数关系，以构建Roofline模型。

在本公开的一个实施例中，所述根据所述硬件设备的Roofline模型计算所述CNN模型的各卷积层的目标剪枝率，包括：

分别计算原始模型和剪枝后模型各卷积层的计算量；