[发明专利]卷积神经网络中的一种语义图像分割方法

说明书

本发明揭示了一种新的用于图像语义分割的深度卷积神经网络架构，包含骨干网与上下文融合网络两个部分。充分利用卷积网络中各卷积层特征信息，将浅层与深层上下文信息进行结合，从而得到更好的图像语义分割效果。与深层卷积特征相比，浅层卷积特征能保留较好的图像底层细节信息，而深层特征能够提取高层语义信息，把两者的卷积特性结合起来可同时兼顾图像中局部和全局的上下文特征，又决定了最终分割准确率的高低，为此本发明该网络架构可以对网络中浅层与深层的特征进行精炼提取。实验结果表明，与传统的深度卷积网络模型相比，该方法在分割的精度以及效率上都有了明显的提高。

技术领域

本发明属于语义图像分割领域，具体涉及采用深度学习的方法实现语义图像分割。

背景技术

伴随着计算机视觉研究的不断加深，研究者逐渐将目光投向对于图像更为准确的分析和理解。语义图像分割问题正是为了满足这一要求而提出的。语义图像分割的根本目的是通过训练图像的内容，从而确定图像中每个像素的语义类别。下面是近几年图像语义分割领域的一些成果。

全卷积神经网络（FCN，Fully Convolutional Networks）可以说是深度学习在图像语义分割任务上的开创性工作，由加州大学伯克利分校的研究团队提出，推广了原有的卷积神经网络结构（CNN，Convolutional Neural Network）。FCN将CNN网络最后三层完全连接层换成三层卷积层，这样做的好处是能够进行密集预测，从而可以实现FCN对图像进行像素级的分类，进而解决了语义级别的图像分割问题。FCN可以接受任意尺寸的输入图像，采用反卷积对最后一个卷积层的特征图（feature map）进行上采样，使它恢复到输入图像的尺寸。之后，几乎所有关于语义分割的最新研究都采用了这种结构。

虽然FCN网络有很大的突破，但是还是存在两大重要的问题。一是连续的卷积和池化使特征图的分辨率大大下降，这对密集预测任务非常不利，FCN中跳跃结构的使用虽然使效果好了很多，但是其上采样的结果还是比较粗糙，对图像中的细节不敏感。二是FCN是对各个像素进行分类，没有考虑像素与像素之间的关系。

发明内容

鉴于上述现有技术的缺陷与不足，本发明的目的旨在提出一种全新的卷积神经网络架构，利用图像上下文信息聚合来解决图像语义分割的问题。

本发明实现上述目的的技术解决方案为：卷积神经网络中的一种语义图像分割方法，其特征在于：重构包含骨干网和上下文融合网络的网络框架，其中上下文融合网络对骨干网中的若干层特征图分别进行精炼提取，并将提取后的每层特征图进行上采样至原图分别率大小，再将浅层和深层的特征图通过堆叠操作进行融合，输出一个21维且与原图大小相同的矩阵。

进一步地，所述骨干网基于经典FCN构建，包含输入层、卷积层、最大池化层、线性修正单元及损失函数，对输入图像和任意特征图卷积后特征图的通道数加倍、最大池化后特征图的长和宽减半。

进一步地，所述上下文融合网络包含上下文卷积单元、上采样器和多尺度特征融合单元构成，其中上下文卷积单元的数量与骨干网输出的特征图数量匹配，上采样器匹配衔接每一个上下文卷积单元运作。

进一步地，语义图像分割方法包括步骤：

S1，定义骨干网的卷积层为五层，骨干网对输入图像进行卷积和最大赤化操作来提取特征，且卷积后特征图的通道数加倍、最大池化后特征图的长和宽减半；

S2，将骨干网的五层卷积层输出分别对接一个上下文卷积单元，根据各卷积层提供不同尺度的图像特征信息，各上下文卷积单元采用相应的卷积核进行上下文特征精炼提取，并都采用1×1的卷积核进行降维操作，使特征图变成通道数为21的输出；

S3，将各上下文卷积单元的输出续接一个上采样器，使输出特征图片的分别率大小和原图的分辨率大小一致，并通过堆叠的方式进行特征融合；