[发明专利]视觉惯性里程计优化的方法及系统

说明书

本申请实施例公开了一种视觉惯性里程计优化的方法及系统。通过获取IMU数据以及视觉图像数据；提取视觉图像数据的点线特征数据；对IMU数据进行预积分处理，得到尺度信息以及IMU变量；基于尺度信息对点线特征数据进行联合初始化，得到点线特征像素灰度值；计算相邻两帧视觉图像之间的IMU更新量；结合IMU更新量获取新的位姿；判断不同帧图像是否满足目标条件；若满足，获取关键帧；将关键帧、位姿、目标点线特征数据、预先配置的加速度零偏和陀螺仪零偏、以及IMU速度加入到滑动窗口中，得到边缘化先验；获取IMU残差以及视觉残差，并基于边缘化先验、IMU残差以及视觉残差对视觉图像估计进行优化处理，可以实现消除误差累积，得到视觉图像的最优轨迹。

技术领域

本申请涉及自主导航技术领域，更具体地，涉及一种视觉惯性里程计优化的方法以及系统。

背景技术

随着计算机视觉技术的发展，视觉里程计由于其较强的适应性成为自主移动导航系统的重要选择。在纯视觉里程计系统中，系统利用摄像头传感器获取周围环境的图像信息，通过对图像进行分析，估计系统的运动状态。但是在单目视觉系统中存在着尺度问题，即系统无法得知所获得的运动过程的实际尺度，只能获取相对的长度信息，因而会导致定位误差随时间增长不断累积。

发明内容

鉴于上述问题，本申请提供了一种视觉惯性里程计优化的方法以及系统，以实现改善上述问题。

第一方面，本申请实施例提供了一种视觉惯性里程计优化的方法，所述方法包括：获取IMU数据以及视觉图像数据；提取所述视觉图像数据的点线特征数据，并采用目标算法对所述点线特征数据进行误匹配剔除，以得到去除点线特征误差的目标点线特征数据；对所述IMU数据进行预积分处理，得到所述视觉图像数据所表征视觉图像的尺度信息以及所述IMU数据的IMU状态量变量；基于所述尺度信息对所述目标点线特征数据进行联合初始化，得到与所述目标点线特征数据对应的初始点特征像素灰度值以及初始线特征像素灰度值；计算相邻两帧视觉图像之间的IMU更新量；结合所述IMU更新量、初始点特征像素灰度值以及初始线特征像素灰度值获取新的位姿；判断所述视觉图像数据的不同帧图像是否满足目标条件；若满足，获取对应的图像帧作为关键帧；将所述关键帧、所述位姿、所述目标点线特征数据、预先配置的加速度零偏和陀螺仪零偏、以及IMU速度加入到滑动窗口中，将滑动窗口中时间最早的一帧进行边缘化处理，得到边缘化先验；获取IMU残差以及视觉残差，并基于所述边缘化先验、所述IMU残差以及视觉残差对视觉图像估计进行优化处理，可以实现消除误差累积，得到视觉图像的最优轨迹。

进一步的，所述提取所述视觉图像数据的点线特征数据的步骤可以包括：采用FAST角点提取算法提取视觉图像中的角点，得到点特征数据；判断所提取角点的数量是否达到预设阈值；若达到，采用LSD直线检测分割算法提取线特征数据，得到线特征数据。

进一步的，所述基于所述尺度信息对所述目标点线特征数据进行联合初始化的步骤可以包括：构造点优化函数以及线优化函数；通过所述点优化函数以及线优化函数对所述目标点线特征数据进行联合初始化，得到与所述目标点线特征数据对应的初始点特征像素灰度值以及初始线特征像素灰度值。

进一步的，所述判断所述视觉图像数据的不同帧图像是否满足目标条件的步骤可以包括：判断前后两帧视觉图像之间平移的距离或旋转的角度是否大于对应的预设阈值；或判断跟踪点、线特征的数量是否小于第一阈值；或判断当前帧视觉图像的跟踪点、线特征的数量是否小于上一帧视觉图像的跟踪点、线特征的数量。

进一步的，所述获取IMU残差以及视觉残差的步骤可以包括：获取点投影误差模型以及线投影误差模型；通过所述点投影误差模型以及线投影误差模型计算点投影误差以及线投影误差；基于所述点投影误差以及线投影误差计算视觉残差；基于预设的IMU残差模型计算IMU残差。