[发明专利]头戴式增强现实系统的视觉和惯性混合位姿跟踪方法

说明书

本发明公开了一种头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，首先进行设备初始化，包括对视觉传感器和惯性测量设备进行测量预处理，将视觉传感器采集的帧图像进行处理，同时对两个连续帧图像对应的惯性测量结果进行预积分，对视觉传感器和惯性测量设备进行联合标定，再利用视觉传感器和惯性测量设备二者所采集的测量数据，融合了预积分的惯性测量结果、视觉图像特征观测结果和回环检测结果，对头戴式增强现实系统进行融合定位，对定位结果进行回环检测，利用重定位结果进行全局位姿图优化，得到最终的位姿估计结果。本发明提高了航天员增强现实操作辅助的智能性和可用性，有效提升了航天员的训练效率。

技术领域

本发明涉及载人航天领域，具体涉及到一种头戴式增强现实系统的视觉和惯性混合位姿跟踪方法。

背景技术

在对航天员进行训练过程中，跟踪其头部运动，进一步获取视线方向，对于航天员操作行为动作的评估，具有十分重要的意义。航天员在训练过程中，为重现航天操作场景，一般需要佩戴头戴式增强现实系统，因此对头戴式增强现实系统进行位姿估计，获得其位姿数据，可有效支撑航天员操作设备的训练过程，并对其训练效果评估提供依据。现有的设备位姿实时估计方法中，光学类方法易受遮挡，且在不良光线条件下估计效果受限，视觉惯性系统由于传感器限制，无法直接获得系统所处的准确状态，从而在静止状态下难以实现系统状态估计器的初始化、外部标定、非线性优化等过程。惯性器件IMU具有较高的输出频率，可输出短期内的位姿状态，但其位姿估计精度取决于标校过程，如果不能对其进行有效标校，将影响其估计精度。

发明内容

针对航天员所佩戴的头戴式增强现实系统在训练过程中的位姿跟踪问题，本发明公开了一种头戴式增强现实系统的视觉和惯性混合位姿跟踪方法。

视觉和惯性的混合跟踪方法以视觉传感器和惯性测量单元(IMU)为最小传感器组合，通过构成视觉惯性系统来估计头戴式增强现实系统的六自由度(DoF)状态。视觉惯性系统由于传感器限制，无法直接获得系统所处的准确状态，从而在静止状态下难以实现系统状态估计器的初始化、外部标定、非线性优化等过程。本发明通过融合视觉特征观测数据和预积分IMU测量数据，实现头戴式增强现实系统的六自由度状态估计，该系统首先启动估计器初始化和故障恢复过程，初始化完成后启动单目VIO获得准确的视觉惯性估计，采用循环检测的方式快速计算重定位，以及使用四自由度姿态图优化提高位子估计的全局一致性。最后通过与仅视觉的SLAM进行对比，验证系统估计性能的提升。

本发明公开了一种头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，首先进行设备初始化，包括对视觉传感器和惯性测量设备进行测量预处理，以及对视觉传感器和惯性测量设备进行联合标定，再利用视觉传感器和惯性测量设备二者所采集的测量数据对头戴式增强现实系统进行融合定位，对定位结果进行回环检测和全局位姿图优化，得到最终的位姿估计结果。

所述的测量预处理过程，包括将视觉传感器采集的帧图像进行处理，同时对两个连续帧图像对应的惯性测量结果进行预积分；

所述的对视觉传感器和惯性测量设备进行联合标定，对惯性测量设备进行标定，得到目标姿态、速度、重力矢量、陀螺仪偏置和三维特征位置的初始估计结果，用于引导基于非线性优化的视觉-惯性里程计VIO(Visual-Inertial Odometry，VIO)，计算出惯性测量设备对视觉传感器的绝对尺度比例因子、陀螺仪偏置、加速度偏置、重力加速度和每个测量时刻的相对速度。

所述的融合定位过程，融合了预积分的惯性测量结果和视觉图像特征观测结果，实现对头戴式增强现实系统的融合定位。

所述的全局位姿图优化，利用重定位结果进行全局优化以消除漂移。

所述的设备初始化过程，首先基于滑动窗口的视觉SFM算法进行初始化，再计算头戴式增强现实系统的位姿变化，通过将IMU预积分结果与视觉SFM算法结果进行匹配，恢复出尺度、重力、速度与偏差，用以引导基于非线性优化的VIO。