[发明专利]一种基于组卷积神经网络使用共享卷积核的改进方法

说明书

本发明公开了一种基于组卷积神经网络使用共享卷积核的改进方法，在一般的分组卷积中每个组都占用了与其他组不同的卷积核，这对硬件实现上带来许多不变。针对这个问题，提出了共享卷积核组卷积(KSGC)的概念，即将输入的通道平均分成多个组，并且对每个组分别进行卷积操作，特别之处在于，这个输入通道中的所有组都使用的是同一个卷积核进行卷积，在此基础上，还将组与组之间有信息交流的组卷积的卷积核改为共享的进行测试。这种共享卷积核组网络，使用了更少的参数，提高了卷积神经网络的计算效率，进一步解决了神经网络参数复杂度过高的问题，在硬件上也减少了逻辑资源消耗。

技术领域

本发明涉及图像处理技术领域，尤其是一种基于组卷积神经网络使用共享卷积核的改进方法。

背景技术

近年来，深度学习在解决高层次抽象认知问题上有着显著的成果，卷积神经网络(CNN)是深度学习的最为重要的工具之一，它的权值共享网络使之更类似生物神经网络结构，减少了权重数量，降低了模型的规模。卷积神经网络对图像的平移，缩放，旋转等形式的变形具有高度的适应性，在图像识别和目标检测等领域应用广泛，如微软利用卷积神经网络做阿拉伯文和中文的手写识别系统，谷歌使用卷积神经网络来识别街景图片中的人脸和车牌等等。

CNN的性能正在迅速提高：ImageNet挑战的获胜者将分类准确率从2012年的84.7％(AlexNet)提高到2015年的96.5％(ResNet-152)。然而，精度的提高是以高计算复杂度为代价的。例如，AlexNet需要1.4×10¹⁰FLOPs来处理单个224×224图像，ResNet-152需要2.26×10¹¹FLOPs。在移动嵌入式设备端，一个最主要的挑战在于大量的运算需要过多的硬件资源并且功耗巨大。

卷积神经网络在充分保留图像特征的同时，减少了网络的参数数量，降低了网络规模，但卷积神经网络的计算复杂度和参数数量仍然是许多应用场景的限制因素，特别是在移动端使用时，一次前向传播要消耗巨大的计算资源，耗费较长的时间，不利于部署在实时性处理要求高的应用上。

GoogLeNet中提出了Inception模块，希望在不增加模型大小和计算成本的情况下构建更深的网络结构，然后在Inception模块中通过分解卷积进一步改进。深度可分离卷积(Depthwise separable Convolution，DWConvolution)更加体现因式分解的思想，将标准卷积分解为深度卷积(depthwise convolution)，再用1×1卷积核进行常规卷积。MobileNet为基于DWConvolution的移动设备设计了卷积神经网络，该操作能够以较少的参数获得了较好的结果。本发明主要使用深度卷积来进一步提高参数效率。

发明内容

发明目的：本发明的目的在于解决现有的卷积神经网络在充分保留图像特征的同时，减少了网络的参数数量，降低了网络规模，但卷积神经网络的计算复杂度和参数数量仍然是许多应用场景的限制因素，特别是在移动端使用时，一次前向传播要消耗巨大的计算资源，耗费较长的时间，不利于部署在实时性处理要求高的应用上的问题。

技术方案：为解决上述问题，本发明提供以下技术方案：

一种基于组卷积神经网络使用共享卷积核的改进方法，其算法包括以下步骤：

(1)在总通道个数M上进行以T个通道作为一组进行输入，D个通道作为该组的输出通道，进行卷积操作；一共进行M/T次卷积操作，特别之处在于每组卷积所使用的卷积核都是同一个卷积核，并且每次的输出通道D都相等；

(2)接下来将M/T组输出通道D对应每张特征图的维度进行加法操作，将M/T个结果相加起来得到一个所有维度与T相同的一组输出张量。

进一步地，步骤(1)中，对组卷积的一个输入通道内所有组都使用了相同的卷积核来进行卷积操作。