[发明专利]基于层级位姿图优化的实时室内三维重建方法

说明书

本发明是一种基于层级位姿图优化的实时室内三维重建方法，属于计算机视觉三维重建领域。本发明利用局部‑全局优化策略解决全局姿态图优化的复杂性，首先通过连续输入帧之间存在空间位置相邻和特征描述词向量相似的性质，来限制重叠帧搜索范围，并以此构建局部位姿图；而后选择重叠度较高的连续帧组成关键帧，并由关键帧构建全局位姿图；在基于纹理特征匹配点的残差损失的局部‑全局位姿图优化后，使用哈希体素表示方法来生成三维模型。相比于以光束调整算法为核心的经典三维重建方法，本发明以更低的计算代价实现了高质量的实时室内三维重建。

技术领域

本发明是一种基于层级位姿图优化的实时室内三维重建方法，属于计算机视觉三维重建领域。

背景技术

室内三维重建一直是计算机视觉领域的热点问题，其目的是通过室内场景的RGB-D流和相机参数估计出相机运动轨迹，而后根据运动轨迹将RGB-D流融合生成三维模型，如点云模型、网格模型；室内三维重建在文物保护、逆向CAD、旅游、虚拟现实、机器人导航等领域都有着广泛的应用；室内三维重建算法的大致流程为先计算RGB-D帧之间相对位姿，而后通过相对位姿计算全局位姿，对这些三维点云进行融合，最后得到三维模型。

虽然现已有多种算法达到了较好的重建效果，但因通常使用Bundle Adjustment算法作为全局优化的核心，这些方法需要通过估计的全局位姿得到一致性点集，从而由某种点融合策略得到3D路标点；而在全局Bundle Adjustment优化方法中，这些3D点作为全局位姿之间的测量约束，来共同优化全局位姿与3D点；其真实场景中的表现往往受限于繁重的计算量、不可靠的收敛域和点融合策略。

因点融合策略可能导致新的误差产生，采用帧对帧配准方法构建位姿图，有利于提高重建精度；位姿图优化方法能够不依赖于全局位姿初始值，能够可靠地收敛到平均状态；而现有全局位姿图优化的目标函数与室内场景中实际点分布无关，无法准确衡量实际场景的偏移损失。

使用基于纹理特征匹配点的残差损失作为全局优化的损失函数，有利于准确表示由全局位姿误差导致的场景偏移，但该损失函数往往包含大量残差项，求解速度受到限制。

发明内容

本发明的目的在于提出了一种基于层级位姿图优化的实时室内三维重建方法，其可以在保证精确度与完整度的情况下，解决三维重建速度瓶颈，有效地实现室内场景的实时重建。

本发明利用局部-全局优化策略解决全局姿态图优化的复杂性，根据RGB-D流时空连续性来设计空间哈希结构，限制重叠帧搜索范围，并以此构建局部位姿图；而后选择一致性较强的连续帧组成关键帧，并由关键帧构建全局位姿图；通过基于纹理特征匹配点的残差损失的局部-全局位姿图优化，求得全局位姿，再使用哈希体素表示方法来生成三维模型。

本发明的基于层级位姿图优化的实时室内三维重建方法步骤如下所示：

1.读取从室内场景采集到的RGB图像、深度图像和相机内参。

2.采用基于空间哈希的重叠帧选择方法筛选有效重叠帧对，步骤如下：

1)对于每一幅RGB图像计算SIFT特征描述子，并且计算视觉词频向量。

2)通过上一幅图像位姿，根据空间哈希方法限定重叠帧搜索范围。

3)计算词频向量相似度，筛选出较高相似度的图像作为重叠帧。

3.通过特征描述子匹配方法生成匹配点对，采用EPnP和LORANSAC方法求解帧间相对位姿。

4.将局部连续帧加入到局部位姿图中，并增量更新位姿图的最小生成树。

5.根据局部位姿图中图像一致性估计，在一定条件下，将局部连续帧合并成关键帧，此时只合并特征描述子而不采取3D点融合。