[发明专利]一种基于双向多尺度金字塔的语义分割方法

说明书

本发明涉及一种基于双向多尺度金字塔的语义分割方法，包含：收集训练图像；设计基于双向多尺度金字塔的深度卷积神经网络结构以适用于语义分割；设计该网络的主干子网络，用以提取图像的基础特征；设计自下而上的多尺度金字塔模块；设计自上而下的多尺度金字塔模块；将自下而上的多尺度金字塔提取的特征与自上而下的多尺度金字塔提取的特征进行融合；基于融合的特征，卷积得到最终的分割结果。输入数据进行训练；将训练好的模型应用于实际任务中，通过训练好的模型，前向计算预测并输出分割的结果，并辅助实际场景中的决策。

技术领域

本发明涉及计算机视觉领域中高性能的语义分割方法，特别是涉及采用深度学习方法进行语义分割的方法。

背景技术

作为人工智能中的关键任务，语义分割成为研究的热点。在语义分割任务中，由摄像机所拍摄的周围场景图片中的每一个像素将会通过算法被预测为一个特定的类别，如将该位置判断为车、或人、或道路等类别中的某一类。由于语义分割是对周围视觉场景的一种深度理解，其在场景解析、人机交互、视频监控以及辅助驾驶中有广泛的应用。随着自动驾驶的兴起，通过语义分割实现对场景中的各个物体以及周围环境的感知成为自动驾驶解决方案中的重要一环。因此，提升语义分割的精度至关重要。

以自动驾驶系统为例，如图1所示，在语义分割任务中，首先通过车载相机捕获现实场景中的视频/图像；进一步地，将相机捕获的视频/图像输入到语义分割算法中；通过语义分割算法的运行，输出分割结果图，代表每个像素点所对应的物体的类别；经过决策层，根据所得到的物体信息进行自动驾驶的决策，实现安全的自动驾驶。由于语义分割的结果直接影响到自动驾驶中的行驶决策，因此提升语义分割的精度，能够有效保证自动驾驶的安全性，进一步推动自动驾驶技术的发展。

现有的较优的语义分割算法是基于深度卷积神经网络的语义分割方法。其中，基于膨胀卷积的空间金字塔网络在语义分割中取得了显著效果。Chen等人提出的DeepLab方法[1]中，为保持图像分辨率，同时提升感受野，引入了膨胀卷积构建深度神经网络，以提升语义分割的精度。为进一步提取更加丰富的语义信息，Chen等人[2][3]进一步深化膨胀卷积，设计了一种空洞空间金字塔池化(以下称：空洞金字塔)的模块，通过在同一层中采用不同膨胀率的膨胀卷积，实现丰富语义信息的提取和融合，进一步提升了语义分割的性能，也成为当前一种主流的语义分割方法。Zhao等人[4]提出了一种金字塔场景解析网络，通过在网络最后层引入一种空间池化金字塔模块来增强对场景语义信息的提取。然而，这些方法中，空洞金字塔只用在网络的最后一层上，而忽略了多尺度信息的提取，也忽略了浅层特征对于信息融合和增强的作用。因此，上述的基于空洞金字塔的可以归结为单尺度金字塔方法，如图2所示。

针对单尺度金字塔方法无法有效融合多尺度的特征信息，无法有效提取多尺度的语义信息的缺点，本发明提出一种新型的双向多尺度金字塔语义分割方法。通过在传统的语义分割网络基础上，构建一种自上而下的金字塔和一种自下而上的金字塔，实现多尺度特征的融合，能够有效提取多尺度的语义信息，进而提升语义分割的性能。本发明所提出的语义分割方法可用于上述的相关领域中实现高精度的语义分割和场景理解。

参考文献：

[1]L.-C.Chen,G.Papandreou,I.Kokkinos,et al.Semantic ImageSegmentation with Deep Convolutional Nets and Fully Connected CRFs.arXiv:1412.7062,2014.

[2]L.-C.Chen,G.Papandreou,I.Kokkinos,K.Murphy,and A.L.Yuille.Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs.TPAMI,2017.