[发明专利]一种深度学习网络卷积核内部参数共享方法

说明书

本发明公开了一种深度学习网络卷积核内部参数共享方法，包括：(1)对网络进行预训练；(2)对(1)的网络各层的卷积输入通道使用Kmeans聚类函数进行聚类；(3)对(2)中具有属于一类的输入通道共享一个二维矩阵参数；(4)对网络进行再训练提升预测结果。经测试本发明在对精度基本无影响的前提下可使得卷积神经网络的参数与计算量减少超过40％，加快了神经网络的推理速度，并且在低的共享率下，甚至可以提高网络的测试集推理准确度，使其准确度超越在同样的训练集、同样的训练批次下未经本方法优化的原始神经网络。

技术领域

本发明涉及人工智能领域，尤其是深度学习网络卷积核内部参数共享方法。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。由于图像平移、缩放和旋转的不变性，卷积神经网络广泛应用于图像识别领域，微软利用卷积神经网络做阿拉伯文和中文的手写识别系统，谷歌使用卷积神经网络来识别街景图片中的人脸和车牌，等等。

卷积神经网络的发展十分迅速，其识别的准确率也逐步提高，随之而来的便是巨大参数量和计算量代价。例如：ImageNet挑战的获胜者将分类准确率从2012年的84.7％(AlexNet)提高到2015年的96.5％(ResNet-152)，但计算量却从1.4×10¹⁰FLOPs激增至2.26×10¹¹FLOPs，传统CPU对如此庞大的网络一筹莫展，只有具有高计算能力的GPU才能让网络得以相对快速训练。但是高性能的GPU必定会带来巨大的功耗，其散热问题又成为嵌入式设备的一个挑战。因此减少模型的参数量与计算量成为了神经网络应用的迫切问题。

为了减少网络的参数和计算量，研究者们提出了许多神经网络模型的压缩方法，主要分为四类：(1)参数修剪和共享；(2)低秩因子分解；(3)转移/紧凑卷积滤波器；(4)知识蒸馏。其中参数剪枝和共享起初是解决过拟合问题的，现在更多得被用于降低网络复杂度。传统的参数共享发放精度损失较高。而剪枝会的网络往往很难训练，且有精度损失，本文所提出的发明主要用卷积和内部参数共享进一步提高参数共享的效率。

发明内容

本发明所要解决的技术问题在于，提供一种卷积核内部参数共享的方法，改变了神经网络结构，减少了网络的计算量，压缩了网络参数，从而提高推理速度。

为解决上述问题，本发明提供一种深度学习网络卷积核内部参数共享的方法，包括如下步骤：

一种深度学习网络卷积核内部参数共享方法，包括如下步骤：

步骤1：调用聚类方法对待优化的神经网络模型的每个卷积核的输入通道对应的二维矩阵参数进行聚类，将具有相同特征的二维矩阵参数被划分为一类；

步骤2：使同类二维矩阵参数共享一个新的二维矩阵参数；通过共享减少参数和计算量，总的输入通道数减去聚类的类别数即为减少的参数量；

步骤3：根据新的二维矩阵参数设计新的神经网络模型；

步骤4：新的神经网络模型中运用矩阵点乘分配律，改变原有计算方式；共享一个参数的输入通道通过先加法后矩阵乘的方法，聚类的一个类别中若存在n个二维参数则需要(n-1)次加法运算和一次乘法运算，相比原始的卷积方法减少了(n-1)次乘法运算；

步骤5：训练新的神经网络模型，求出每个神经元的梯度，更新共享权重参数；反复调整共享后的参数，直至达到预定的准确率。

进一步的，在进行步骤1之前，先对待优化的神经网络模型进行预训练，使待优化网络在测试集的准确率达到较高水平。聚类前将网络训练到具有较高的准确率的层次，在此基础上进行聚类共享，对准确率影响较小。