[发明专利]基于特征冗余分析的神经网络跨层剪枝方法

说明书

本发明公开了一种基于特征冗余分析的神经网络跨层剪枝方法，主要解决现有技术对扩张残差单元进行逐层剪枝会造成深度卷积层信息丢失的问题。其实现方案是：1)获取训练样本集；2)构建44层卷积神经网络；3)更新44层卷积神经网络参数；4)判断初始训练的更新次数是否达到100次：若是，则得到训练好的44层卷积神经网络，对训练好的44层卷积神经网络进行跨层剪枝，执行5)；否则，返回3)；5)对剪枝后的稀疏网络进行微调训练；6)判断微调训练的更新次数是否达到40次：若是，则得到微调后的稀疏网络，否则，返回5)。本发明减少神经网络中神经元或特征的退化，降低了神经网络的参数和存储尺寸，可用于移动端和嵌入式设备中。

技术领域

本发明属于图像处理技术领域，更进一步涉及一种神经网络跨层剪枝方法，可用于将深度卷积神经网络模型部署到移动端和嵌入式设备中。

背景技术

近年来，由于深度学习在语音识别、图像识别、目标检测等诸多计算机视觉任务中取得了突破性的成果而被广泛应用，成为了机器学习领域最具有代表性的技术。卷积神经网络模型普遍存在的现象是：第一，模型参数多、体积庞大、计算复杂度高且容易出现过拟合；第二，需要依靠非常多的训练数据和高性能并行计算设备进行长时间的训练，对硬件资源要求高，且功耗惊人。以上这些问题的存在都非常不利于深度卷积神经网络模型在移动端和嵌入式设备上的部署和应用。有研究指出，大规模的卷积神经网络中有相当一部分的神经元和连接权重对模型的性能没有实质性的影响，如果可以将这部分从网络中删减掉，不仅可以节省75％的参数，还可以缩减掉约50％的计算时间，说明神经网络模型的压缩具有潜在的可能性。以上背景表明，对深度卷积神经网络中的冗余参数和冗余特征进行剪枝在移动端和嵌入式设备的应用场景中具有重要的现实意义。

Howard等人在其发表的论文“Mobilenets:Efficient convolutional neuralnetworks for mobile vision applications”(Computer Vision and PatternRecognition,2017)中基于空间信息和深度信息分离的思想，将标准卷积操作拆分成一个深度卷积层接一个逐点卷积层，这种方法虽能有效地减少模型参数量和计算量，但由于仅使用深度可分离卷积构建了一个非常简单的直筒结构，对特征的复用性不强；另一方面，在深度卷积层部分，由于输入特征维度过小，再加上非线性的作用容易造成神经元或特征的退化。

Liu Zhuang等人在其发表的论文“Learning efficient convolutionalnetworks through network slimming”(IEEE International Conference on ComputerVision，2017)中对神经网络进行逐层剪枝，首先通过稀疏约束的优化方法将神经网络模型正则化，然后通过恢复和重新训练被剪枝的连接权重来提高预测精度，可以减小模型大小，降低运行内存和计算量，没有精度损失，而且不会给网络带来任何额外的开销。该方法的不足之处是，仅对常规卷积层堆叠而成的神经网络结构剪枝效果较好，但不适用于对具有扩张残差单元结构的神经网络进行剪枝，具有较大的局限性。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于特征冗余分析的神经网络跨层剪枝方法，旨在减少神经网络中神经元或特征的退化，降低神经网络的参数和存储尺寸，克服现有逐通道剪枝方法不适用于对具有扩张残差单元结构的神经网络进行剪枝的局限性。

为实现上述目的，本发明的技术方案是：通过对构建的神经网络中逐点卷积层特征的重要性进行分析，实现对逐点卷积层中冗余特征的剪枝，其实现步骤包括如下：

(1)获取训练样本集：

选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集；

(2)构建44层卷积神经网络：