[发明专利]自动驾驶场景下具有多目标追踪能力的动态SLAM方法

说明书

本发明公开了一种自动驾驶场景下具有多目标追踪能力的动态SLAM方法。包括：首先，提取相机采集的图像序列的各帧语义分割掩膜，同时通过光流方法得到对应的光流结果；接着对雷达采集的点云进行点云‑图像投影，将图像对应的点云帧中的点通过坐标变换转换到像素坐标系；再提取各帧中的静态点云和不同车辆对应的点云；再进行车载相机所在车辆的初始位姿序列以及各图像帧中不同车辆的初始相对变换矩阵；进而利用已有信息构建图优化问题进一步优化自身和图像中车辆的位姿结果；最后获得目标位姿信息。本发明采用激光雷达和相机作为传感器，结合了语义分割信息，能够在动态环境下稳定运行并输出画面中车辆的运动状态，具有较高的实际运用价值。

技术领域

本发明属于人工智能与机器人和计算机视觉领域的一种自动驾驶场景下的SLAM方法，具体涉及到一种自动驾驶场景下基于语义分割和多传感数据的多目标追踪SLAM定位方法。

背景技术

同时定位和建图(simultaneous localization and mapping,以下简称SLAM)是一种在未知环境下，通过携带传感器的个体的观测作为输入，实时估计自身运动状态并构建周围环境模型的方法。SLAM目前在无人驾驶、机器人、高精度地图构建、无人机和AR等领域有着广泛的应用。

SLAM按照使用传感器的不同可主要分为雷达SLAM和视觉SLAM，雷达SLAM目前以激光雷达和毫米波雷达为主，发展较为成熟，可以实现稳定的定位建图效果且能够提供较为准确的深度信息，但是无法像视觉一样给出丰富的语义信息；视觉SLAM以单目、双目和RGBD相机为主，其成本低廉、实时性好、应用前景广泛，但是会受到光照等条件的影响。两种方法存在自己的优点，将两者结合可以得到更好的效果；

目前的SLAM方法大多存在静态环境假设，即传感器观测的结果都为静态成分，算法在此基础上通过几何等方法实现定位和建图效果。然而真实的场景往往不满足静态环境假设，当面对存在动态要素的场景时，现有的方法会受到动态元素的影响产生误匹配并随着时间不断累积误差，导致SLAM算法失效，因而在实际应用时无法满足精度和鲁棒性要求。同时，由于现有的方法专注于构建静态要素地图，故无法满足诸如自动驾驶场景下更进一步的需求。因为作为前端的SLAM算法需要为后端规划层提供更加丰富的信息，如：周围车辆的位置和速度等，以完成更好的决策行为。

现有应对动态场景的SLAM算法有通过几何信息和语义信息两种。利用几何信息的方法将前一帧的特征点投影到当前帧并计算重投影误差，通过重投影误差的大小判断是否是动态特征点，从而剔除动态部分，该方法能够对动态和静态做出筛选但是由于重投影误差同样受到动态要素的影响因此提升的精度有限；结合语义信息的方法利用事先训练好的语义神经网络处理图像，利用目标分割或者语义分割的结果获取图片中的语义信息，再根据语义信息对图像中的信息做有选择的使用，该方法能够很大程度减弱动态要素的影响，但存在无法剔除潜在运动物体以及某些时候图片可用信息过少的问题。剔除动态要素是目前的SLAM方法处理动态的主要思路，这导致了动态语义信息的低效利用。

发明内容

本发明的目的是提供一种自动驾驶场景下基于语义分割和多传感器数据的多目标追踪SLAM定位方法。该方法以激光雷达和相机采集的数据作为输入，结合了目标检测技术，利用雷达的深度信息和目标检测得到的语义信息构建3D物体，对得到的静态成分和3D物体分别计算位姿变换，并通过图优化方法结合计算得到的信息优化位姿结果，得到可追踪动态物体的激光相机融合SLAM系统，经验证，该算法能够在含有动态元素的自动驾驶场景下完成有效定位并追踪图像中的车辆，具有较高的实际应用价值。

上述的目的通过以下的技术方案实现：

步骤1：将车载相机采集的图像序列输入到语义分割网络中，获得图像序列中各图像帧的语义分割掩膜，同时通过光流方法对车载相机采集的图像序列进行处理后，获得当前图像序列的光流结果；

步骤2：将车载激光雷达采集的初始点云序列与车载相机采集的图像序列之间进行点云-图像投影，获得3D点云序列；