[发明专利]卷积神经网络压缩方法和装置、图像分类方法和装置

说明书

本发明提供一种卷积神经网络压缩方法和装置、图像分类方法和装置，其中卷积神经网络压缩方法包括：对预训练的卷积神经网络中的各个卷积操作层分别进行卷积核聚类，得到各个卷积操作层对应的卷积核类簇；对各个卷积操作层对应的每一卷积核类簇进行卷积核剪枝；对卷积核剪枝后的卷积神经网络进行重训练，得到压缩后的卷积神经网络。本发明实现了高效的卷积核剪枝，同时，上述方式不再受卷积核分布导致的剪枝敏感度不同的限制，从而极大的节省了卷积核剪枝的计算资源和时间资源的消耗。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种卷积神经网络压缩方法和装置、图像分类方法和装置。

背景技术

近年来，深度神经网络，特别是深度卷积神经网络在计算机视觉、自然语言处理、语音识别等领域取得了巨大的突破。随着深度卷积神经网络性能的提升，模型的参数量以及计算复杂度也大幅增长。其中，参数量的提升需要存储模型的设备具有较大的硬盘存储空间。而计算复杂度的提升令设备会消耗更大的电量。这使得深度卷积网络大多只能部署在高性能的计算机集群之上。

同时，随着近些年移动互联网的发展，将深度模型部署在诸如智能手机或者智能手表等嵌入式的设备上的需求越来越大。但是嵌入式设备的存储容量以及电池容量十分有限，因此导致庞大的深度模型难以在嵌入式设备上对特定任务进行推理预测。因此，如何降低深度卷积神经网络的模型参数量以及计算复杂度，成为了将其部署在嵌入式的移动端上的关键。

针对卷积神经网络的参数多、计算量大的问题，已有一些模型的加速压缩方法被提出。其中就包括卷积核剪枝方法。卷积核剪枝方法可以通过将卷积神经网络中卷积层的卷积核剪掉的方式，很大程度的减少模型的参数量以及浮点预算量。同时可以保留模型的原有结构，从而无需在特定的硬件上进行加速。

然而，当前已经提出的卷积核剪枝算法主要基于“范数越小越不重要”的原则，将范数较小的卷积核剪掉。也有工作通过计算卷积层的几何中心，并将距离几何中心较近的卷积核剪掉。然而，上述两种主流方法对于卷积核分布较为敏感。因此，需要对卷积核的分布进行敏感度分析来决定各层的剪枝比例，使得剪枝过程十分耗时。

另外一些方法通过复杂的搜索算法来搜索最优的子模型结构来达到卷积核剪枝的目的。但是搜索算法本身也同样十分消耗计算和时间资源。因此，如何高效的进行深度卷积神经网络的卷积核剪枝仍有待研究。

发明内容

本发明提供一种卷积神经网络压缩方法和装置、图像分类方法和装置，用以解决现有技术中对于卷积核分布较为敏感的缺陷。

本发明提供一种卷积神经网络压缩方法，包括：

对预训练的卷积神经网络中的各个卷积操作层分别进行卷积核聚类，得到各个卷积操作层对应的卷积核类簇；

对各个卷积操作层对应的每一卷积核类簇进行卷积核剪枝；

对卷积核剪枝后的卷积神经网络进行重训练，得到压缩后的卷积神经网络。

根据本发明提供一种的卷积神经网络压缩方法，所述对各个卷积操作层对应的每一卷积核类簇进行卷积核剪枝，具体包括：

基于预设剪枝比例，将任一卷积操作层对应的各个卷积核类簇中距离聚类中心最近的若干个卷积核参数置为0。

根据本发明提供的一种卷积神经网络压缩方法，所述基于预设剪枝比例，将任一卷积操作层对应的各个卷积核类簇中距离聚类中心最近的若干个卷积核参数置为0，之后还包括：

统计所述任一卷积操作层对应的真实剪枝数量；

对所述任一卷积操作层中未剪枝的卷积核进行补充剪枝；所述补充剪枝的卷积核数量为理论剪枝数量与所述真实剪枝数量之间的差值；所述理论剪枝数量是基于所述预设剪枝比例和所述任一卷积操作层中的卷积核数量确定的。