[发明专利]深度卷积网络压缩方法、存储介质和终端

说明书

本发明提供一种深度卷积网络压缩方法、存储介质和终端，该方法包括步骤：将原始深度卷积网络划分为特征提取部分和特征利用部分，其中，所述特征提取部分用于对输入的原始数据进行特征的转化和提取，所述特征利用部分用于根据转化和提取的特征输出最终结果；对所述特征提取部分进行压缩，获得卷积子网络，由若干个所述卷积子网络构建与所述特征提取部分效果相比拟的循环卷积神经网络；将原始数据输入所述循环卷积神经网络，输出转化和提取的特征；将转化和提取的特征输入所述特征利用部分，输出所述原始数据对应的最终结果。该方法实施例能够在压缩深度卷积网络的同时保持深度卷积网络的效果。

技术领域

本发明涉及计算机技术领域，具体而言，本发明涉及一种深度卷积网络压缩方法、存储介质和终端。

背景技术

近不到十年的时间里，人工智能取得了巨大的进步。而这样的进步主要是由深度学习来推动的。深度学习是一种堆叠多层神经网络的机器学习方法。由于神经网络的层数比传统的方法层数多得多，顾称为深度学习。随着近年来大量训练数据获得的可能，以及计算机计算性能(主要是显卡的计算性能)的提高，训练大型深度卷积网络成为可能。随着深度学习算法的发展，大型深度卷积网络在很多领域都达到了最先进的水平。例如图像识别、图像分割和自然语言处理等领域。

虽然大型深度卷积网络在各领域达到了较高水平，但是当需要部署在移动端运行时，由于移动端的计算能力，运行内存和存储空间相对于PC(personal computer，个人计算机)端来说都有限，因此需要在考虑资源限制的情况下应用深度学习技术，即需要对深度卷积网络进行压缩，才能满足同时保持较高的运算速度和较小的存储空间占用的要求。

现有技术中的深度卷积网络压缩方法主要有矩阵分解、通道数压缩和知识提取(knowledge distilling)等。虽然这些方法都可以在一程度上对深度卷积网络进行压缩，但是在压缩时无法保持原有深度卷积网络的效果，即原有深度卷积网络的表达能力和预测精度，因此在压缩完成之后还需要重新在原有的数据集上面微调(fine tune)，而有的甚至在微调之后也没办法恢复原有深度卷积网络的效果。

发明内容

本发明针对现有方式的缺点，提出一种深度卷积网络压缩方法、存储介质和终端，用以解决现有技术中存在的深度卷积网络压缩的同时无法保持效果的问题，以能够在压缩深度卷积网络的同时保持深度卷积网络的效果。

本发明的实施例根据第一个方面，提供了一种深度卷积网络压缩方法，包括步骤：

将原始深度卷积网络划分为特征提取部分和特征利用部分，其中，所述特征提取部分用于对输入的原始数据进行特征的转化和提取，所述特征利用部分用于根据转化和提取的特征输出最终结果；

对所述特征提取部分进行压缩，获得卷积子网络，由若干个所述卷积子网络构建与所述特征提取部分效果相比拟的循环卷积神经网络；

将原始数据输入所述循环卷积神经网络，输出转化和提取的特征；

将转化和提取的特征输入所述特征利用部分，输出所述原始数据对应的最终结果。

在一个实施例中，所述循环卷积神经网络中第一个卷积子网络的输入通道数为原始数据的通道数，之后的卷积子网络的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联。

在一个实施例中，所述循环卷积神经网络还包括位于两个卷积子网络之间的设定卷积层，所述设定卷积层的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联，输出通道数为第一个卷积子网络的输入通道数。

在一个实施例中，所述对所述特征提取部分进行压缩，所述对所述特征提取部分进行压缩，获得卷积子网络，包括：对所述特征提取部分进行通道数压缩，获得卷积子网络。