[发明专利]一种基于深度卷积自编码器的视觉同时定位与地图构建方法

说明书

本发明公开了一种基于深度卷积自编码器的视觉同时定位与地图构建方法(Visual‑SLAM)。步骤1：训练数据进行数据预处理；步骤2：建立多任务学习网络；步骤3：将图像序列中相邻的三帧双目图像作为网络输入；步骤4：构建损失函数；步骤5：多任务网络的训练、验证和测试；步骤6：训练后的共享编码器网络用于回环检测；步骤7：上述六个步骤构造了一个新的Visual‑SLAM系统前端，利用位姿图优化或因子图优化来构造Visual‑SLAM系统的后端，进而搭建一个完整的系统，步骤8：验证定位准确性和鲁棒性。使用深度卷积自编码器，以一种半监督多任务的学习方法来构建SLAM系统的前端，包括深度估计、相机位姿估计、光流估计和语义分割，并利用网络的特征图构建图像表征进行回环检测。

技术领域

本发明属于图像处理技术领域；具体涉及一种基于深度卷积自编码器的视觉同时定位与地图构建方法。

背景技术

同时定位与地图构建技术是指搭载特定传感器的移动机器人在没有后环境先验条件下，于运动过程中利用传感器恢复场景的三维信息，同时定位自身位姿的关键技术，是实现机器人路径规划、自主导航以及完成其他复杂任务的基础要求。

一个完整的视觉同时定位与地图构建(Visual-SLAM，VSLAM)系统理论上可以分成两个部分：前端和后端，其关系图如图1所示。前端部分主要包含视觉里程计、局部地图构建和回环检测。视觉里程计主要考虑连续数据帧间的匹配及相对姿态估计问题，利用位姿信息可以构建当前帧的局部地图，而回环检测主要是根据观测数据判断机器人是否处在之前已访问区域。后端部分主要包含位姿图优化和全局地图构建。由于观测噪声以及配准误差的存在，通过观测信息配准得到的位姿参数往往不具备一致性。为获得较小的位姿估计误差需要进行相应的最优化操作，优化过程等价于计算位姿后验概率的最大似然估计(maximum-a-posteriori，MAP)问题。与位姿优化相似，全局地图构建将所有的局部地图点与位姿同时进行优化，获得最优的全局地图。

在视觉里程计方面，目前的主流方法大多基于多视图几何，包含特征点法、直接法和半直接法。尽管这些传统算法在精度和鲁棒性方面都取得了很好的结果，但这类方法或多或少都存在着一定的缺点。特征点法依赖特征描述子来建立相邻帧之间同一关键点的联系，在缺乏纹理信息、图像模糊等场景下会出现特征缺失，容易导致相机位姿估计失败，并且特征点的提取和匹配的计算量非常大，不易实现实时定位。直接法依赖图像的灰度不变性假设，在光照变化剧烈的场景下会严重影响定位和地图构建的准确性。

传统的视觉里程计，深度图的计算通常利用双目相机或者RGB-D相机来直接获得，双目相机利用多视图几何中的双目图像匹配方法来计算，其成像的有效范围和准确率有限受到相机的成像单元尺寸和双目相机的基线大小制约，此外，获得稠密的深度图还需要大量的计算资源。而RGB-D相机受到其工作原理的制约，其有效测量范围较小，无法用于室外环境。相机的位姿估计则依赖于相邻帧图像的图像匹配算法：基于特征描述子的特征点法和基于光照不变假设的直接法。此外，深度估计的误差也会影响相机的位姿估计准确性。深度图的计算不准确除了会影响位姿估计的准确性外，还会使建立的地图出现偏差、扭曲、不连续、甚至无法建图的问题。相机的位姿估计则会影响整个视觉里程计的定位与建图，如果位姿估计偏差较大，利用后端优化也只能在一定范围内降低整个地图和轨迹的偏差。在回环检测方面，基于外观的回环检测方式能够有效地在不同场景工作，成为了视觉SLAM中的主流做法，其中基于视觉词袋模型的回环检测方法是目前基于外观的方法中表现最好的。但是基于视觉词袋模型的方法都使用人工设计的特征，如SIFT、ORB等来构造视觉字典。尽管这些精心设计的特征在简单场景下具有很好的表现，但是在遇到一些包含光照变化、部分遮挡、视角变化、季节变换等复杂场景时，这些方法的性能将受到严重影响。此外，传统的视觉里程计还无法获得语义信息，进而无法用于更高级别的场景理解、多机协同和人机交互等任务。