[发明专利]一种基于视觉语义分割技术的车辆实时定位方法

说明书

本发明涉及车辆实时定位技术领域，具体为一种基于视觉语义分割技术的车辆实时定位方法，标定全景环视相机的内外参数，用于获取车辆的全景拼接图像，并获取图像中物体与车辆的位置关系；训练语义分割模型；实时采集相机图像，通过搭载在车上的4个环视语义相机采集图像，输入到控制系统；拼接全景俯视图，输出全景拼接俯视图；通过建立的语义分割模型，输出语义分割结果；提取语义与形状信息，形成多个语义目标块；地图比对，迭代优化自车在地图中的位置，完成准确定位。本发明实现狭窄道路环境下的高精度定位，且利用全景环视系统实现低成本的高精度定位。

技术领域

本发明涉及车辆实时定位技术领域，具体为一种基于视觉语义分割技术的车辆实时定位方法。

背景技术

自主泊车系统是一种用于解决车辆从停车场入口到停车位之间的车辆自动驾驶的问题，在level4的限定场景中完全无人驾驶系统。该系统通过车载运算单元以及车载的传感器实现对于环境的感知、路径避障、车位搜寻以及车位泊入等全自动功能。同时，为了实现停车场范围内的自主巡航，自主泊车系统需要一套停车场的高精地图，以及相应的实时定位系统。自主泊车中的实时定位系统一般采用车载传感器，如环视相机、前视相机、毫米波雷达等，通过传感器提取的信息跟高精地图进行比对，实现对于车辆在高精地图中的定位。在这过程中，基于毫米波/视觉SLAM定位技术或基于高精度地图+语义目标检测的视觉定位是常见的解决方法。然而，毫米波定位法容易在车身周围产生无法感知的盲区、视觉语义目标检测在目标离车辆距离很近时难以正常工作，因此这些方法无法应用于道路狭窄的场景，如地下车库的上下坡入口或狭窄的过道当中。

语义分割定位方案可以有效地处理盲区影响严重，狭窄视野受限的复杂场景，视觉语义分割是对图像像素进行分类的一种图像处理技术，结合全景拼接与语义分割能够在形状结构复杂的场景中可以清晰、直接地描述车辆的周边环境的轮廓，进而能够地图数据的语义类型与不规则边缘形状形成更鲁棒与精确的匹配。因此，利用语义分割进行环境感知，可以有效地实现车辆在封闭复杂场景中的高精度定位。鉴于此，我们提出一种基于视觉语义分割技术的车辆实时定位方法。

发明内容

本发明的目的在于提供一种基于视觉语义分割技术的车辆实时定位方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于视觉语义分割技术的车辆实时定位方法，其特征在于，包括以下步骤：

步骤1：标定全景环视相机的内外参数，用于获取车辆的全景拼接图像，并获取图像中物体与车辆的位置关系；

步骤2：训练语义分割模型，通过设计基于全景拼接图像与深度学习算法的语义分割网络，采集数据进行训练；

步骤3：实时采集相机图像，通过搭载在车上的4个环视语义相机采集图像，输入到控制系统；

步骤4：拼接全景俯视图，输入相机参数与相机图像，输出全景拼接俯视图；

步骤5：语义分割算法，输入全景拼接俯视图，通过建立的语义分割模型，输出语义分割结果；

步骤6：提取语义与形状信息，语义分割结果为单个通道的图像，语义类型通过像素值反映，将原始的像素数据按照类型进行聚类并提取目标边缘轮廓，形成多个语义目标块；

步骤7：地图比对，定位滤波算法，通过建立基于不规则形状语义特征的测量模型，通过定位滤波算法跟地图上的信息作对比，即可以迭代优化自车在地图中的位置，完成准确定位。

优选的，步骤2中，语义分割网络的网络输出包括但不限于以下语义信息：立柱、墙面、路面、轮档、斑马线、减速带、道路箭头、停车位、车道线。