[发明专利]一种基于IMU辅助的单目视觉里程计位姿处理方法

说明书

本发明公开了一种基于IMU辅助的单目视觉里程计位姿处理方法。对单目相机采集的连续图像进行ORB特征提取，同时在相邻两帧图像的时刻之间对IMU数据进行预积分，根据提取到的特征点数目与设定阈值的关系分情况输出各时刻下的相机位姿：若特征点的数目大于设定阈值，则判断该图像为正常图像序列，采用纯视觉模型解出相机的运动位姿，然后利用图像的重投影误差，优化相机位姿；若特征点的数目小于设定阈值，则判断该图像为特征点缺失图像，采用惯性测量单元(IMU)预积分模型，获得特征缺失图像之间的相机位姿。本发明计算速度快，而且对运动具有鲁棒性并建图的准确性有所提高。

技术领域

本发明属于计算机视觉和机器人技术领域，具体涉及一种基于IMU辅助的单目视觉里程计位姿处理方法。

背景技术

由于在室内利用GPS无法准确获得自身准确的位置信息，导致移动机器人在导航过程中会出现很大的偏差，这时同步定位与建图技术(Simultaneous localization andmapping,SLAM)应运而生。SLAM技术能够在未知的环境和GPS信号缺失的情况下，利用传感器感知周围环境，并构建周围环境地图，对自身位置进行定位，从而达到导航的目的。在SLAM技术中单目相机相对于双目相机和RGB-D相机，虽然算法计算复杂，但是价格低廉，便于移植到手机等移动端，存在广阔的市场应用价值。目前在手机或平板等常见的移动设备上最常见的传感器有单目摄像头和IMU传感器，如何利用两者之间的数据实现精确定位的问题，是目前SLAM研究方向的热点问题。

传统的单目纯视觉SLAM在运动过快、图像模糊、单一运动场景下，会出现特征点缺失的情况，从而导致前端视觉里程计在跟踪特征点过程失败，无法计算得到相机的运动位姿。针对上述单目纯视觉SLAM在定位时出现的缺陷，本发明创新性的提出了IMU辅助单目视觉SLAM定位的方法，在视觉图像不起作用的时候，选择用IMU数据进行预积分得到相机位姿信息，直到视觉再次提取到足够多的特征点时，再选择视觉模型，增强了单目视觉SLAM算法的鲁棒性，从而使构建出的地图更加精确，扩展了其应用场景。

发明内容

本发明的目的是解决单目纯视觉SLAM在运动过快、图像模糊、单一运动场景下等提取特征点数量不足，导致单目视觉里程计定位失败的问题，提出一种基于单目视觉信息和IMU信息融合的SLAM视觉里程计位姿处理方法。

本发明的技术方案包括以下步骤：

步骤1：将单目相机和IMU模块固定连接在同一平面构成相机-IMU传感器，对相机-IMU传感器进行标定得到单目相机和IMU模块的采样周期、相机内参K和t时刻世界坐标系到IMU坐标系的旋转矩阵Rt_w，根据t时刻世界坐标系到IMU坐标系的旋转矩阵Rt_w可以得到t时刻IMU坐标系到世界坐标系的旋转矩阵R_t^w，两个旋转矩阵互逆。

所述的世界坐标系是根据相机坐标系和图像坐标系得到的，具体是：相机坐标系是指以相机的光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，相机的光轴为Z轴；图像坐标系是指相机成像平面的中心为坐标原点，X轴和Y轴分别平行于成像平面的两条垂直边；相机坐标系乘以相机位姿(R,t)可以得到世界坐标系；通过对相机-IMU传感器进行标定进而得到IMU坐标系，IMU坐标系与相机坐标系平行但不重合。

所述的IMU模块包括三轴加速度计和三轴陀螺仪，三轴加速度计采集加速度测量值，三轴陀螺仪采集角速度测量值。建立IMU坐标系下的IMU动力学模型，具体如下：