[发明专利]一种地图要素语义分割鲁棒性增强方法和系统

说明书

本发明涉及一种地图要素语义分割鲁棒性增强方法和系统，其特征在于包括以下步骤：1)按照时序将车载的摄像头传感器采集到的行驶场景视频分为独立的视频帧。2)基于预设的语义分割网络对步骤1)中各独立的视频帧数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强视频语义分割稳定性。本发明仅使用摄像头传感器的连续视频信息，通过光流信息将每帧语义分割结果连接，能够通过较低的成本实现鲁棒的地图要素精确识别；因此，本发明可以广泛应用于自动驾驶领域。本发明可以广泛应用于自动驾驶领域。

技术领域

本发明属于自动驾驶领域，具体涉及一种利用计算机视觉、光流信息融合的视频地图要素语义分割鲁棒性增强方法和系统。

背景技术

高精度地图作为高级别自动驾驶不可或缺的感知容器，是实现自动驾驶的关键基础，不仅为自动驾驶车辆提供车道级的导航和行驶环境信息，而且丰富了自动驾驶车辆的环境先验信息辅助自动驾驶车辆进行后续的决策判断。建立高精度地图的两大主要任务是采集与更新。采用更快、更低成本的方法完成这两项任务是目前高精度地图应用于实际的挑战。与此相关的问题也是目前自动驾驶领域的重点研究内容。同时随着计算机视觉相关领域的研究不断深入，基于图像感知高精度地图不同要素也成为解决感知问题的一种重要方式。

目前，高精度地图构建与更新的主流方案是采用摄像头传感器的视频数据，基于视觉方法感知真实世界车道信息。其中，对视觉传感器画面中的地图要素进行语义分割是一种高精度、低成本的地图要素信息提取的方式，通过这种方法可以有效地将地图要素信息提供给后续三维地图要素建模模块。语义分割是一种对图像中所有像素进行语义分类的任务。当前基于深度卷积神经网络的语义分割模型研究非常普遍，卷积神经网络具有很强的特征学习能力，可以通过对大量数据进行充分训练得到稳定的输出效果。基于深度学习的语义分割神经网络一般分为编码和解码部分。编码部分是一个特征提取网络，通过多层卷积提取输入图像的深层特征；解码部分是一个上采样网络，以得到与输入尺寸一致的输出结果。

现有的语义分割网络在现有开源数据集上可以获得较高精度的分割结果，但针对实际场景数据，直接应用于实际高精度地图要素感知与建模任务中尚有不足。目前单帧图像的语义分割舍去了摄像头传感器采集的时序信息，前后相邻帧之间的无关联处理造成了分割跳变的情况，导致现有方法直接应用往往会出现不稳定、跳变的结果，难以直接应用于实际工程中。

发明内容

针对上述问题，本发明的目的是提供一种基于光流信息融合的地图要素语义分割鲁棒性增强方法和系统，仅使用摄像头传感器的连续视频信息，通过光流信息将每帧语义分割结果连接，能够通过较低的成本实现鲁棒的地图要素精确识别。

为实现上述目的，本发明采取以下技术方案：

本发明的第一个方面，是提供一种地图要素语义分割鲁棒性增强方法，其包括以下步骤：1)按照时序将车载摄像头传感器采集到的行驶场景视频分为独立的视频帧图像。2)基于预设的语义分割网络对步骤1)中各独立的视频帧图像数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强语义分割视频图像的稳定性。

进一步，所述步骤2)中，增强视频语义分割稳定性的方法，包括以下步骤：

2.1)读取第i帧图像，并将其输入到预设的语义分割网络进行处理，得到第i帧图像中，各类地图要素语义分割结果对应的掩膜；其中，预设的语义分割网络为针对车道线、灯杆、道路标识牌三种地图要素的网络；

2.2)读取第i+1帧图像，并将其输入到预设的语义分割网络进行处理，得到第i+1帧图像中，各类地图要素语义分割结果对应的掩膜；

2.3)计算第i帧图像和第i+1帧图像之间的光流信息，得到帧间光流图；