[发明专利]基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质

说明书

本发明提出基于相机运动状态的双目‑惯性融合的位姿估计方法、电子设备及存储介质，属于位姿估计技术领域。包括：S1.获取相邻两帧图像特征点对，匹配相邻两帧图像的特征点对；S2.对相邻两帧图像中的IMU测量数据进行预积分处理；S3.基于相邻两帧图像的特征点对进行相机初始位姿估计；S4.将IMU信息位姿与相机初始位姿进行融合；S5.对融合后的相机初始化位姿进行紧耦合位姿优化；S6.对优化后的位姿进行闭环检测与重定位；S7.基于相机运动状态设置关键帧筛选阈值；S8.基于相机运动状态的双目‑惯性融合的位姿估计。解决无法在当设备长时间静态或者极小姿态运动时正确估计位姿，导致轨迹出现误差的问题。

技术领域

本申请涉及一种位姿估计方法，尤其涉及基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质，属于位姿估计技术领域。

背景技术

同步定位与地图构建(SLAM,Simultaneous Localization and Mapping)一直是机器人技术和计算机视觉领域研究的热点之一。SLAM早期研究是为了实现移动机器人的自主定位和导航，为了能够在未知环境中完成智能化任务，移动机器人需要具备自身状态的认知能力以及周围环境感知能力。在面对一些更复杂的任务，比如在不受控制的条件下进行搜寻和救援任务时，机器人无法快速灵活地完成任务；同时机器人的运动受地形的影响，无法在一些特殊环境执行任务，因此仍需要训练有素的特种人员来执行。随着可穿戴式传感器的不断发展，基于可穿戴式传感器的辅助系统技术已经被引入到很多工业应用中。在上述背景下，可穿戴式SLAM系统的概念被提出。一套融合多传感器的可穿戴式SLAM系统可以在高度动态的条件下实现穿戴人员的精准实时定位，同时发送和记录环境信息，有效协助使用人员在未知环境下执行特殊任务。穿戴式计算平台与机器人平台不同，穿戴式计算平台受体积、重量等限制，通常计算能力非常有限，且对功耗更加敏感。

为此有研究人员提出了以下技术方案：

现有技术一、Campos和Elbira等学者又提出了ORB-SLAM3，并设计了基于ORB-SLAM3的可穿戴场景下的VI-SALM系统，与VI-ORB-SLAM相比多了双目相机和IMU单元的视觉惯性融合支持。

该方法存在的缺点是该系统在后端优化模块特别是回环检测模块，无法在当设备长时间静态或者极小姿态运动时正确估计位姿，导致轨迹出现误差。

现有技术二、Viachaslau Kachurka等学者通过对视觉-惯性SLAM(VI-SLAM)与其它一些传感器之间的优化通信事件，实现了基于双目视觉-IMU惯性的定位方法，并设计了一套可穿戴式协同SLAM系统。该系统的优点在于它能够同时执行两种互补的SLAM方法，以实现实时的位姿估计过程。

该方法存在的缺点是系统设计比较复杂，且硬件成本较高。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，为解决现有技术中存在的无法在当设备长时间静态或者极小姿态运动时正确估计位姿，导致轨迹出现误差的技术问题，本发明提供基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质

方案一：基于相机运动状态的双目-惯性融合的位姿估计方法，包括以下步骤：

S1.获取摄像头拍摄的视频流中相邻两帧图像特征点对，匹配相邻两帧图像的特征点对；

S2.对相邻两帧图像中的IMU测量数据进行预积分处理，得到IMU信息位姿；

S3.基于相邻两帧图像的特征点对进行相机初始位姿估计；

S4.将S2所述IMU信息位姿与S3所述相机初始位姿进行融合；