[发明专利]一种可变形卷积融合增强的街景图像语义分割方法

说明书

本发明公布了一种可变形卷积融合增强的街景图像语义分割方法，包括训练阶段和测试阶段，构建街景图像语义分割深层神经网络模型，使网络模型在街景图像大目标物被分割的同时获得较多的小目标特征信息，从而解决街景图像语义分割时小尺度目标丢失和分割不连续的问题，提升图像分割效果，模型整体的鲁棒性更好，街景图像处理精度更高。

技术领域

本发明属于计算机视觉技术领域，涉及图像处理技术，具体涉及一种可变形卷积融合增强的街景图像语义分割方法。

背景技术

图像语义分割是人工智能领域中计算机视觉的一个重要分支，是机器视觉中关于图像理解与解析重要的一环。图像语义分割就是将图像中的每一个像素准确地归类到其所属类别，使其与图像本身的视觉表示内容一致，所以图像语义分割任务也被称为像素级的图像分类任务。目前，语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。

卷积神经网络在图像的分类、定位以及场景理解等方面取得了成功。随着增强现实和自动驾驶车辆等任务的激增，许多研究人员将注意力转移到场景理解上，其中一个主要步骤就是语义分割，即对所给定图像中的每个像素点做分类。语义分割在移动和机器人相关应用中具有重要意义

与图像分类不同，图像语义分割的难度要更高，因为它不仅需要全局的上下文信息，还需要结合精细的局部信息来确定每个像素点的类别，所以常常利用主干网来提取较为全局的特征，然后再结合主干网中的浅层特征进行特征分辨率重建恢复到原始图像大小。特征图的分辨率尺寸有先减小后增大的变化过程，通常把前者称为编码网络，后者称为解码网络。经典的语义分割方法有全连接网络(Full Connected Network,FCN)和DeepLab系列网络等，这些方法在道路场景分割数据库上的像素精度、均像素精度和均交并比均有不错的表现。传统的网络是二次采样的，其中上采样的意义在于将小尺寸的高维特征图恢复回去，以便做像素预测，获得每个点的分类信息。尽管FCN做了上采样，并不能将丢失的信息全部无损的恢复；DeepLab系列网络在此基础上加了空洞卷积算法扩展感受野，进行了信息损失的改善，但是并没有很好地控制信息丢失这个问题。因此，这些方法因信息丢失影响了图像语义分割的精确度，尤其在小目标物体的识别上分割效果表现更差。

发明内容

为了克服上述现有技术的不足，本发明提供一种可变形卷积融合增强的街景图像语义分割方法，构建街景图像语义分割深层神经网络模型，使该网络模型在街景图像大目标物被分割的同时也能获得较多的小目标特征信息，从而解决了街景图像语义分割时小尺度目标丢失和分割不连续的问题，模型整体的鲁棒性更好，街景图像处理精度更高，提升图像分割效果。

本发明解决上述技术问题所采用的技术方案为：

一种可变形卷积融合增强的街景图像语义分割方法，其特征在于包括训练阶段和测试阶段两个过程，包括如下步骤：

1)构建图像训练集：包括原始图像和对应的语义标签图像，我们将这组图像数据输入到我们构建好的网络中，即可参与训练。

1_1)选取N幅原始的街景图像数据及对应的语义分割标签灰度图，并构成训练集，将训练集中的第n幅原始的街景图像记为{Jⁿ(i,j)}，将训练集中与{Jⁿ(i,j)}对应的语义分割标签图像记为其中原始街景图像为RGB彩色图像，且对应的标签图像为灰度图，N为正整数；N≥500；n为正整数，1≤n≤N；(i,j)为图像中像素点的坐标位置；1≤i≤W，1≤j≤H，W表示{Jⁿ(i,j)}的宽度，H表示{Jⁿ(i,j)}的高度，Jⁿ(i,j)表示{Jⁿ(i,j)}中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值；同时，为了很好的评估所设计的模型，需要将与训练集中原始街景图像和对应的语义标签图像所对应的真实分割标签图像作为我们的训练目标，并记为