[发明专利]一种基于局部注意力网络的街景图像语义分割方法

说明书

本发明公开的一种基于局部注意力网络的街景图像语义分割方法，具体实施步骤是：步骤1，首先从公开数据集Cityscapes中随机选取部分图像数据，将选取的部分图像数据划分为训练集、验证集及测试集；步骤2，使用倒置残差模块和空洞卷积构造MobileNetV2网络模型；步骤3，设计局部注意力模块和残差块，并构造编码网络；步骤4，构造解码网络，逐渐恢复图像分辨率，最终输出语义分割的结果；步骤5，使用训练集和验证集对模型进行训练，并在测试集上验证模型的分割效果。该方法解决了现有技术中存在的普遍存在的局部信息在特征提取过程中无法完整保留，从而解决了类别内部分割结果不一致的问题。

技术领域

本发明属于数字图像处理方法领域，具体涉及一种基于局部注意力网络的街景图像语义分割方法。

背景技术

视觉是人类对外部世界和接受外部信息认知的重要途径，相比于语言文字描述，人类更倾向于直接从图像中获取信息。然而，计算机需要像人眼一样完成准确地图像像素分类等场景理解任务，仍是一个具有挑战性的任务。语义分割任务的目标是利用计算机对图像中的每个像素进行正确分类，是一种逐像素分类任务。场景理解是利用计算机完成类似于人类对环境感知和理解的任务，其中语义分割作为实现场景理解的必经之路，是一项关键而又基础的技术。

在面向城市道路场景下，语义分割是理解城市街道场景中车辆、人行道、马路、信号灯等不同种类的对象的关键技术，而街道场景通常由于其具有复杂性与非结构性的特点，例如光照、季节天气变化、目标尺度太小、物体被遮挡等问题，道路中通常存在着多样化的目标，这使得面向街道场景下的视觉理解与语义分割任务成为一个极其复杂棘手和严峻的挑战。

发明内容

本发明的目的是提供一种基于局部注意力网络的街景图像语义分割方法，解决了现有技术中存在的普遍存在的局部信息在特征提取过程中无法完整保留，从而解决了类别内部分割结果不一致的问题。

本发明所采用的技术方案是，一种基于局部注意力网络的街景图像语义分割方法，具体实施步骤是：

步骤1，首先从公开数据集Cityscapes中随机选取部分图像数据，将选取的部分图像数据划分为训练集、验证集及测试集，最后分别对训练集、验证集、测试集的所有图像数据进行数据增强和预处理操作；

步骤2，首先使用深度可分离卷积、残差结构构造倒置残差模块，然后使用倒置残差模块和空洞卷积构造MobileNetV2网络模型；将训练集的图像数据输入到MobileNetV2网络模型提取图像特征，输出低层特征图F_low和高层特征图F_high，对F_high使用不同扩张率的四个空洞卷积和一次全局平均池化，得到五个特征图；

步骤3，由于局部上下文信息在逐步提取特征的过程中有丢失的可能，因此设计局部注意力模块和残差块，并构造编码网络，目的是提取图像特征，同时恢复输入图像数据的局部上下文信息；

步骤4，构造解码网络：将编码网络的输出与低层特征图F_low依次进行上采样、拼接、上采样操作，逐渐恢复图像分辨率，最终输出语义分割的结果；

步骤5，使用训练集和验证集对模型进行训练，并在测试集上验证模型的分割效果。

本发明的特征还在于，

步骤1具体过程为：

步骤1.1，从公开数据集Cityscapes中随机选取部分图像数据，按照6:3:1的比例将选取的部分图像数据划分为训练集、验证集及测试集；

步骤1.2，对于训练集的所有图像数据，使用随机翻转、随机裁剪、随机高斯模糊的方法对数据进行增强，最后对训练集的图像数据归一化；