[发明专利]一种显示设备及虚拟物体位姿更新方法

权利要求书

1.一种显示设备，其特征在于，设置有前端跟踪模块，后端优化模块，回环优化模块；

所述后端优化模块用于，根据接收到的IMU数据优化后端关键帧，得到后端关键帧的优化位姿和速度，所述后端关键帧为局部地图的关键帧；

所述回环优化模块用于，对接收到的相机数据进行SLAM回环更新得到漂移修正量；

所述前端跟踪模块用于，接收IMU数据，相机数据，后端关键帧的优化位姿和速度，漂移修正量，所述相机数据包括前端关键帧；

如果前端关键帧的时间戳与后端关键帧的时间戳不相同，则根据所述IMU数据，相机数据和漂移修正量，优化所述前端关键帧的变量；

如果前端关键帧的时间戳与后端关键帧的时间戳相同，则调用后端关键帧的优化位姿和速度作为前端关键帧的优化位姿和速度，根据所述相机数据，前端关键帧的优化位姿和速度，漂移修正量，优化所述前端关键帧的其他变量，所述其他变量为所述变量中除了位姿和速度以外的变量。

2.根据权利要求1所述的显示设备，其特征在于，所述前端跟踪模块具体用于：

计算上一帧与当前帧的惯导预积分项，所述当前帧为所述前端跟踪模块正在处理的时间最新的前端关键帧，所述上一帧为所述当前帧的上一帧前端关键帧。

3.根据权利要求2所述的显示设备，其特征在于，所述前端跟踪模块具体用于：

利用所述惯导预积分项对所述上一帧的位姿进行惯导计算，得到当前帧的初始位姿。

4.根据权利要求2所述的显示设备，其特征在于，所述前端跟踪模块具体用于：

获取局部地图中与所述当前帧的特征点匹配的3d点云；

将所述3d点云进行PnP计算，得到所述当前帧的初始位姿。

5.根据权利要求1所述的显示设备，其特征在于，所述前端跟踪模块具体用于：

利用惯导预积分项对所述上一帧的位姿进行惯导计算；

获取局部地图中与所述当前帧的特征点匹配的3d点云；

将所述3d点云进行PnP计算，如果PnP计算成功，则调用所述PnP计算得到的结果作为所述当前帧的初始位姿；

如果PnP计算不成功，则调用所述惯导积分计算得到的结果作为所述当前帧的初始位姿。

6.根据权利要求1所述的显示设备，其特征在于，所述漂移修正量包括：deta_R旋转的修正偏移量和delta_p平移的修正偏移量；如果前端关键帧的时间戳与后端关键帧的时间戳不相同，所述前端跟踪模块具体用于：

根据所述如下公式优化所述前端关键帧的位姿和速度；

其中，v为速度，R和p为位姿分别是两个坐标系之间的转换的姿态的旋转和位置的平移，[u,v]是当前帧的像素坐标，π(·)是透视投影函数，上下标的w、b和c分别表示世界坐标系，载体坐标系和相机坐标系，λ为逆深度。

7.根据权利要求2所述的显示设备，其特征在于，所述漂移修正量包括：deta_R旋转的修正偏移量和delta_p平移的修正偏移量，如果前端关键帧的时间戳与后端关键帧的时间戳不相同，所述前端跟踪模块具体用于：

根据所述如下公式优化所述前端关键帧的位姿和速度；

其中，[u,v]是当前帧的像素坐标，π(·)是透视投影函数，R和p为位姿分别是两个坐标系之间的转换的姿态的旋转和位置的平移，其上下标的w、b和c分别表示世界坐标系，载体坐标系和相机坐标系，λ为逆深度，α、β和γ分别是位置、速度和姿态对应的惯导预积分项，g为重力加速，Δt为两帧之间的时间差，v为速度。