[发明专利]基于点线特征的单目视觉惯性同步定位与建图方法及系统

说明书

本发明提供了一种基于点线特征的单目视觉惯性同步定位与建图方法及系统，本发明的单目视觉惯性同步定位与建图方法包括提取单目相机图像的ORB特征和LSD线特征，利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息，采用基于滑动窗口的非线性优化方式对相机运动、路标点坐标和IMU状态信息进行估计，进行回环检测，以及通过全局位姿图优化得到全局一致的位姿图。本发明的单目视觉惯性同步定位与建图方法，能够在弱纹理场景下保证定位精度，可提升SLAM方法的使用效果。

技术领域

本发明涉及计算机视觉处理技术领域，特别涉及一种基于点线特征的单目视觉惯性同步定位与建图方法。本发明还涉及一种基于点线特征的单目视觉惯性同步定位与建图系统。

背景技术

同步定位与建图(Simultaneous Localization and Mapping，SLAM)技术可以实现机器人或无人机等在移动过程中根据位置和地图进行自身定位，同时在自身定位基础上建造增量式地图，从而实现自主定位和导航。

SLAM技术现已成为自主导航的核心技术，视觉SLAM技术采用视觉传感器完成机器人的定位和环境建图，具有更大的成本优势，因而受到了广泛的关注。但是，目前的SLAM方法中多是采用单一的视觉传感器，而其在使用中存在一些缺陷，如无人机自主导航时要求较高的导航参数输出频率，不过视觉传感器的视频采集帧率较低，不能满足无人机自主导航的要求。

为了获得较高精度和较高输出频率的导航参数，将视觉传感器与惯性测量单元(Inertial Measurement Unit，IMU)进行融合是一种有效的途径。视觉和IMU融合一般具有两种方式：松耦合方式和紧耦合方式。松耦合方式将视觉和IMU视为两个独立的模块，将两个模块的信息采用滤波的方式耦合得到融合后的估计信息。紧耦合方式将视觉和IMU信息联合利用非线性优化理论进行优化，得到定位信息。

相比来说，紧耦合方式具有更高的估计精度，因而近年来，视觉惯性紧耦合方法已经有了比较成熟的框架，也即前端实时位姿估计，后端非线性优化相机位姿和环境建图。其中，对于前端实时位姿估计，通常分为两种实现方式：直接法和特征点法。直接法是基于图像灰度变化估计相机运动，特征点法则是基于提取的图像特征估计相机运动。相比来说，直接法受光照变化影响较大，特征点法具有更强的抗光照变化能力和更好的稳定性，因此，特征点法得到了广泛的应用。

但是，基于特征点的SLAM方法在弱纹理场景下，如光滑墙面、走廊等环境下，由于不能提取足够多的图像特征点，会使得定位精度大幅度降低，进而可能导致运动估计失败。

发明内容

有鉴于此，本发明旨在提出一种基于点线特征的单目视觉惯性同步定位与建图方法，以能够在弱纹理场景下保证定位精度。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于点线特征的单目视觉惯性同步定位与建图方法，该方法包括：

提取单目相机图像的ORB特征和LSD线特征；

利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息；

采用基于滑动窗口的非线性优化方式对相机运动、路标点坐标和IMU状态信息进行估计；

进行回环检测；

通过全局位姿图优化得到全局一致的位姿图。

进一步的，所述单目相机的参数信息至少包括单目相机的尺度、速度，所述IMU的参数信息至少包括IMU的零偏、重力。

进一步的，所述利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息包括：

进行单目视觉图像的ORB点特征检测与匹配，以及LSD线特征检测与匹配；