[发明专利]一种基于并列卷积单元的深度卷积神经网络方法

说明书

技术领域

本发明涉及模式识别、计算机视觉和图像处理领域，特别涉及基于深度卷积神经网络的图像分类和物体识别的方法。

背景技术

近几年来，基于卷积神经网络思想的深度学习模型广泛的应用于计算机视觉领域的图像分类、目标识别、物体检测等多个任务上，并且取得了显著的效果。

卷积神经网络(CNNs,Convolutional Neural Networks)提供了一种端到端的学习模型，通常由若干个卷积层、激活层和池化层交替组成。其中，卷积层通过卷积核与输入特征做卷积运算进行特征提取，可以学习到分级的特征。浅层卷积层主要提取边缘、方向等信息，深层卷积层则用于提取深层次的语义结构特征。因此，卷积滤波器决定了提取到的特征的质量，对于卷积神经网络的性能至关重要。

为了提高卷积神经网络的性能，相关研究人员提出了很多又深又宽的网络结构，这些网络结构都有很多个卷积滤波器，从而导致网络有很多参数，降低了计算效率，增加了计算复杂度。为了减少网络参数，降低计算复杂度，[1]和[2]提出了两种方法。[1]中提出了一种简化的卷积(simplified convolution)。该方法按照传统卷积的原理把传统的卷积分为两步执行，第一步提取特征通道内信息，由输入特征卷积得到中间响应特征，在该过程中，输入特征与中间特征一一对应，并且每个中间响应特征中的响应点，其只与相对应的输入特征有关；第二步提取特征通道间信息，由中间响应特征得到输出特征，在该过程中，每个输出特征中的每个响应点由所有的中间响应特征中相同位置响应点生成，与其他响应点无关。[2]中提出了一种移动网络(MobileNets)，该网络根据因式分解把卷积分为滤波和组合两个过程，滤波过程中，对每个输入特征采用单独的滤波器；组合过程中，采用尺寸为1的滤波器对滤波器过程输出的特征进行组合，得到滤波器过程输出特征的线性组合。

以上两种方法虽然能够减少网络参数，降低计算复杂度，但是会在第一个过程中丢失部分信息，影响网络分类性能。为了减少信息损失，本专利提出了一种新的方法，用于进一步提升深度卷积神经网络的性能。

参考文献

[1]Sun M,Song Z,Jiang X,et al.Learning pooling for convolutional neural network[J].Neurocomputing,2017,224:96-104.

[2]Howard AG,Zhu M,Chen B,et al.MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications.CoRR,abs/1704.04861,2017.

发明内容

本专利申请提供一种基于并列卷积单元的深度神经网络方法，以解决现有技术中简化传统卷积后网络性能下降的问题，该方法能够有效地提取特征，提高网络分类性能。为了解决上述问题，本发明提供如下的技术方案：

一种基于并列卷积单元的深度卷积神经网络方法,其训练阶段包括下列步骤：

1)收集数据：收集不同类别的图像，并标记数据的标签；

2)结构设计：定义并列卷积单元由一个简化卷积和一个简化卷积的变形并列组成，其中，简化卷积的变形是将原简化卷积中采用的两个滤波器的位置进行互换，设置深度卷积神经网络结构，包括并列卷积单元的数量及组合方式，设定每个卷积层特征图的个数和大小，设定池化方式及池化窗口尺寸；

3)初始化：通过随机初始化的方法对卷积核的参数进行初始化，并设定迭代次数。

4)前向计算：把训练数据批量输入到该网络中，

(1)当第一个卷积层计算结束后，输出特征尺寸为A×B×C,其中A×B表示特征图的大小，C表示特征通道数；

(2)设第二个卷积层的两个滤波器为W×H×1×Z和1×1×Z×Z，其中Z与C相等，将第二个卷积层与第一个卷积层的输出特征做卷积，输出特征尺寸均为A×B×C；

(3)第三个卷积层的滤波器W×H×1×Z与第二层的滤波器1×1×Z×Z的输出特征做卷积，输出特征尺寸为A×B×C，第三层的滤波器1×1×Z×Z与第二层的滤波器W×H×1×Z的输出特征做卷积，输出特征尺寸为A×B×C，第三层两个滤波器的输出特征合并作为第三层的输出特征，尺寸为A×B×(C×2)，作为下一层的输入特征；

(4)按照步骤(1)-(3)计算后续的卷积层；