[发明专利]一种基于深度学习的端到端的语义即时定位与建图方法

说明书

本发明公开了一种基于深度学习的端到端的语义即时定位与建图方法。通过彩色相机和激光雷达分别采集得到连续的原始图像序列以及与图像序列对应的原始三维点云序列，处理获得连续五帧图像序列的位姿变换信息、深度信息和语义分割信息；构建带分支的多任务深度神经网络，输入到多任务深度神经网络中，训练多任务深度神经网络获得参数，采用训练后的多任务深度神经网络对连续五帧的待测图像序列进行处理，获得图像帧之间的位姿变换信息、深度信息和语义分割信息。与传统的ORB‑SLAM算法和同样基于深度学习的方法相比，本发明方法有更好的性能。

技术领域

本发明涉及图像同时定位与建图方法，具体涉及了一种基于深度学习的端到端的语义即时定位与建图方法。

背景技术

无人平台的关键技术中，环境感知和定位自身位置的功能是必不可少的。同时定位与建图算法是解决这些问题的算法中的集大成者，利用各种传感器感知周围环境和估计自身位置，在无人系统中被广泛使用。

目前，大部分同时定位与建图算法提供的都是环境的结构信息和自身的位置信息，缺少对场景的理解，往往不足以满足无人平台执行任务的需要。为了获得更加丰富的环境信息，在同时定位与建图技术上增加语义理解的功能变得尤为迫切。语义同时定位与建图可以解决很多无人平台的需求，如通过语义标注可以得到场景中的可通行区域、行人车辆等动态目标等。而现在却只有少部分工作对地图信息进行了语义理解。

另一方面，传统的同时定位与建图算法不论是特征法还是直接法，仍处于图像低层特征的阶段，不能满足实际应用中对鲁棒性、场景可扩展性的需求；而深度学习技术在很多图像理解的方向(如图像分类、目标识别、语义分割等)上都有非常大的突破。这种技术在同时定位与建图算法上的应用打破了原有基于几何的框架，利用卷积神经网络对此问题进行建模，依靠众多的网络参数来拟合传统方法上各个模块耦合的过程，以端到端的方式代替复杂的优化过程。这种方式带来了新颖的思路，但目前在性能上还不能和传统方法相提并论。

发明内容

本发明的目的在于提供一种基于深度学习的端到端的语义即时定位与建图方法。

本方法将不仅将深度学习方法应用在同时定位与建图的算法上，还融合了摄像机和激光雷达等多个传感器的数据，结合语义分割的信息来筛选对位姿估计有效的像素，一方面结合了深度学习卓越的图像理解能力提高算法的性能，另一方面促使基于图像低层特征的同时定位与建图算法和图像高层次的语义内容相结合。

本发明采用的技术方案是包括以下步骤：

(1)通过彩色相机和激光雷达分别采集得到连续的原始图像序列以及与图像序列对应的原始三维点云序列，原始图像序列和原始三维点云序列的总帧数相同；

(2)对于每一帧图像I_t，由当前帧图像I_t与其相邻帧图像构建形成连续五帧图像序列I_t-2,I_t-1,I_t,I_t+1,I_t+2，以连续五帧图像序列I_t-2,I_t-1,I_t,I_t+1,I_t+2为基本单位对原始图像序列和原始三维点云序列进行划分，并处理获得连续五帧图像序列I_t-2,I_t-1,I_t,I_t+1,I_t+2的位姿变换信息、深度信息和语义分割信息；

(3)构建带分支的多任务深度神经网络；