[发明专利]一种基于方向性全卷积网络的语义分割方法

说明书

本发明公开了一种基于方向性卷积网络的语义分割方法，包括：(1)构建一个方向性卷积的全卷积网络；(2)将构建的方向性全卷积网络的顶层加入池化层和全连接层网络，构成第一深度模型，并在在大型数据集上进行预训练；(3)提取预训练好的第一深度模型中的全卷积部分，使用全卷积层初始化方向性全卷积网络的参数，并在其后加入新的全连接层，构成第二深度模型；(4)使用图片语义分割的数据集训练第二深度模型，直到模型收敛；(5)利用训练后的第二深度模型对待测图片进行分析，预测图像中每个像素所属的类别，形成图像语义分割图输出。本发明的方法能够促进语义分割学习感知野和中心像素的联系，提升训练模型的鲁棒性。

技术领域

本发明属于计算机视觉与图像处理领域，尤其是涉及一种基于方向性卷积网络的语义分割方法。

背景技术

随着深度学习理论的发现和深入研究，计算视觉下属的多个领域和任务都有了飞速突破和显著提升。其中，语义分割因其对视觉系统精细度的高要求，成为了最为棘手的计算视觉任务之一和目前热门的研究方向。语义分割任务要求，计算视觉系统对任意大小图片上，每个像素所属物体的类别进行预测。目前主流的语义分割解决方案均采用了全卷积网络架构，该架构始于加州大学伯克利分校Jonathan Long等人于2014年Conference onComputer Vision and Pattern Recognition提出的《Fully Convolutional Networksfor Semantic Segmentation》工作。该工作基于计算识别领域的经验，只使用卷积神经网络(全卷积)进行图像处理，并结合双线性插值法，做到输出的预测与输入的图片像素一一对应。通过端到端的训练方法，在有监督学习的框架下训练神经网络，得到远优于传统学习的图像特征。 Liang-Chieh Chen等人在2018年European Conference on Computer Vison会议上发表工作《Encoder-decoder with atrous separable convolution for semanticimage segmentation》中介绍了DeepLab v3+方法是该领域的前沿方案。通过扩散卷积等多类技术提升有效感知野的大小。

然而，全卷积网络的有效性并未被完全理解，其预测结果也存在着一定程度的缺陷。将全卷积网络的预测过程进行仔细分析，可以发现，对于单个像素上的预测，神经网络可以得到感知野(神经网络输出能够直接关联的输入部分)上的全部像素，但输出的只有中心像素的类别。一方面训练过程中没有任何机制显式的指导神经网络去预测感知野中心的像素，另一方面实验结果表明全卷积网络确实从数据中学到了感知野与中心像素的关联性。这样的反差启发我们去理解卷积网络的深层机制，并基于这种理解，去鼓励神经网络将更高的关注度给予到中心位置，由此产生更为鲁棒的语义分割系统。

发明内容

本发明提供了一种基于方向性卷积网络的语义分割方法，能够促进语义分割学习感知野和中心像素的联系，提升训练模型的鲁棒性，使图像语义分割更准确。

一种基于方向性卷积网络的语义分割方法，其特征在于，包括：

(1)构建一个方向性卷积的全卷积网络；

(2)将构建的方向性全卷积网络的顶层加入池化层和全连接层网络，构成第一深度模型，并在大型数据集上进行预训练；

(3)提取预训练好的第一深度模型中的全卷积部分，使用全卷积层初始化方向性全卷积网络的参数，并在其后加入新的全连接层，构成第二深度模型；

(4)使用图片语义分割的数据集训练第二深度模型，直到模型收敛；

(5)利用训练后的第二深度模型对待测图片进行分析，预测图像中每个像素所属的类别，形成图像语义分割图输出。