[发明专利]基于层级位姿图优化的实时室内三维重建方法

权利要求书

1.一种基于层级位姿图优化的实时室内三维重建方法，其特征主要包含如下步骤：

1)读取从室内场景采集到的RGB图像、深度图像和相机内参；

2)采用基于空间哈希的重叠帧选择方法筛选有效重叠帧对；

3)通过特征描述子匹配方法生成匹配点对，采用EPnP和LORANSAC方法求解帧间相对位姿；

4)将局部连续帧加入到局部位姿图中，并增量更新位姿图的最小生成树；

5)根据局部位姿图中图像一致性估计，在一定条件下，将局部连续帧合并成关键帧，此时只合并特征描述子而不采取3D点融合；

6)从关键帧中选取相似度较高的帧，计算关键帧间相对位姿，构建全局位姿图；

7)使用基于纹理特征匹配点的残差损失的局部-全局位姿图优化方法，求得全局位姿；

8)采用基于哈希的体素表示方法，将所有全局位姿及对应RGBD数据融合集成至三维模型。

2.根据权利要求1所述的基于层级位姿图优化的实时室内三维重建方法，其特征在于所述步骤2)中，可以通过基于空间哈希的重叠帧选择方法筛选有效重叠帧对：

1)对于每一幅RGB图像计算SIFT特征描述子，通过深度信息移除无效特征点；

2)根据大数据离线训练的SIFT词袋，计算得到每一幅图像的视觉词频向量；

3)通过上一帧图像所在位姿的空间哈希值，选择其四周的哈希块作为重叠帧搜索范围；

4)在重叠帧搜索范围中，计算词频向量相似度，选择top k作为重叠帧。

3.根据权利要求1所述的基于层级位姿图优化的实时室内三维重建方法，其特征在于所述步骤5)和步骤6)中，首先在局部连续帧融合时，采用特征描述子融合方式，而非3D点融合方式；其次在重叠关键帧求解相对位姿时，选出两关键帧之间相似度最高两帧，以这两帧原始特征点匹配对来求解相对位姿，而非以关键帧中融合后的3D匹配点求解关键帧相对位姿。

4.根据权利要求1所述的基于层级位姿图优化的实时室内三维重建方法，其特征在于所述步骤7)中，提出了基于纹理特征匹配点的残差损失的位姿图优化方法，将与室内场景的点相关的残差损失简化为位姿图优化形式：

1)

其中T_R表示相对位姿集合，T_G表示全局位姿集合，R′_ij和R_ij表示第i帧与第j帧之间的估计相对旋转矩阵和测量相对旋转矩阵，t′_ij和t_ij表示第i帧与第j帧之间的估计相对平移向量和测量相对平移向量，p₀通常取特征匹配点对均值的单位向量；

2)最小化目标函数L_PGO(T_R，T_G)可通过最小化其上界(1)来逼近，由此可求得基于纹理特征匹配点的残差损失的位姿图优化问题的解。