[发明专利]头戴式增强现实系统的视觉和惯性混合位姿跟踪方法

权利要求书

1.一种头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，首先进行设备初始化，包括对视觉传感器和惯性测量设备进行测量预处理，以及对视觉传感器和惯性测量设备进行联合标定，再利用视觉传感器和惯性测量设备二者所采集的测量数据对头戴式增强现实系统进行融合定位，对定位结果进行回环检测和全局位姿图优化，得到最终的位姿估计结果。

2.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的测量预处理过程，包括将视觉传感器采集的帧图像进行处理，同时对两个连续帧图像对应的惯性测量结果进行预积分。

3.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的融合定位过程，融合了预积分的惯性测量结果和视觉图像特征观测结果，实现对头戴式增强现实系统的融合定位。

4.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的全局位姿图优化，利用重定位结果进行全局优化以消除漂移。

5.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的设备初始化过程，首先基于滑动窗口的视觉SFM算法进行初始化，再计算头戴式增强现实系统的位姿变化，通过将IMU预积分结果与视觉SFM算法结果进行匹配，恢复出尺度、重力、速度与偏差，用以引导基于非线性优化的VIO。

6.如权利要求5所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的基于滑动窗口的视觉SFM算法进行初始化，包括特征点跟踪、相机位姿估计、优化，对于特征点跟踪，首先检查头戴式增强现实系统采集图像的最新帧图像与滑动窗口中所有帧图像之间的特征对应关系，如果最新帧图像和滑动窗口中任何帧图像存在超过一定数量的跟踪特征和旋转补偿像素，对最新帧图像利用该跟踪特征和旋转补偿像素进行相对旋转和尺度平移，对这两个帧中的所有特征进行三角化，若不存在，将最新帧图像保存在滑动窗口中，并等待新的帧图像；对于相机位姿估计，利用三角化后的特征，采用PnP方法来估计滑动窗口中所有帧图像的姿态，进一步得到相机姿态；所述的优化，利用BA优化方法来最小化所有特征观测的总重投影误差，从而完成对相机姿态的优化估计；P为左目、右目相机分别获取的左、右帧图像的特征点对应实物在真实空间中的位置坐标，将P称为特征位置，特征点p₁、p₂分别是该实物在左目、右目相机上的投影，O1、O2分别是左目、右目相机的中心；P的表示式为P＝[X,Y,Z]^T，依据针孔相机模型，则特征点p₁、p₂的位置坐标满足关系系：

s₁p₁＝K₁P

s₂p₂＝K₂(RP+t)，

其中，K₁、K₂分别为左目、右目相机的内参矩阵，R、t分别为左目和右目两个相机间的刚体转换矩阵和偏置矩阵，s₁、s₂分别为左目相机和右目相机的比例系数，求得P的最小二乘解为：

从而得到特征位置估计结果；根据特征点匹配信息及特征位置估计，利用SFM算法获得当前特征点的三维空间位置以及其在相机上的投影位置，再直接利用PnP算法估计图像姿态。

7.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的对视觉传感器和惯性测量设备进行联合标定，对惯性测量设备进行标定，得到目标姿态、速度、重力矢量、陀螺仪偏置和三维特征位置的初始估计结果，用于引导基于非线性优化的视觉-惯性里程计VIO，计算出惯性测量设备对视觉传感器的绝对尺度比例因子、陀螺仪偏置、加速度偏置、重力加速度和每个测量时刻的相对速度。