[发明专利]基于语义先验和渐进式优化宽基线致密三维场景重建方法

说明书

本发明提供一种基于语义先验和渐进式优化宽基线致密三维场景重建方法，所述方法包括步骤：提供多幅不同视角的图像，将所有图像进行超像素分割，划分为具有局部同质性和非规则形状的超像素集合；获取图像中各个超像素的初始深度和不同视角图像之间的位置关系，将高层语义先验作为约束条件，将处于同一平面的相邻超像素区域进行区域合并；将合并的所有区域利用马尔可夫随机场模型进行深度估计，获取原始深度图；通过深度融合的方式丢弃错误的深度估计并将原始深度图中冗余的深度信息进行移除，获取最终三维场景。上述方法在不同的宽基线环境下均能够取得比传统方法更为稳定和精确的三维重建效果。

技术领域

本发明涉及图像处理领域，尤其涉及基于语义先验和渐进式优化宽基线致密三维场景重建方法。

背景技术

作为计算机视觉领域的一大研究热点，三维场景重建技术已被广泛研究并应用于航空航天，无人驾驶和数字娱乐等诸多领域中。传统的三维场景重建技术在多个不同视角拍摄的图像序列基础上，采用基于运动的结构恢复法(Structure From Motion，SFM)以递归的形式估计相机的姿态并将场景以稀疏点云或致密模型的形式加以三维呈现。实现该技术的关键问题之一是如何准确找到不同视角图像之间的对应关系。由于拍摄时相机的位置和姿态通常存在随意性，相机之间通常存在较大的运动变化(即相机光心之间存在较长的基线)，造成不同视角间存在显著的遮挡和几何形变，从而大大增加图像匹配的难度，这就是经典的宽基线匹配问题。该问题经常存在于机器人视觉导航，航拍地图构建，增强现实等诸多应用领域中，具有重要的研究意义。

宽基线图像匹配问题最早于1998年由牛津大学机器人研究团队的Pritchett和Zisserman提出，此后诸多研究聚焦于设计更鲁棒的特征以用于估计本质矩阵。Tuytelaars等人和Xiao等人使用了仿射不变特征，而其他很多工作则使用了SIFT描述子以及强调速度的Daisy描述子或者基于尺度不变的描述子。除此之外，Bay等人和Micusik等人分别使用了线段和由线段构成的矩形作为特征，而诸如MSER或者纹理描述子等区域特征也在宽基线环境下被使用，还有的描述子设计更多考虑了应对遮挡的情况。在致密场景重建中，点和区域特征应用非常广泛，比如SIFT-flow，Patch-match，空间金字塔匹配以及形变模型的使用都有助于宽基线环境的场景重建。总体上，基于区域的匹配是目前宽基线条件下的主流趋势之一，其具有比点和线等特征能更为鲁棒而精确地反映彼此相似度或差异性的特点。

值得注意的是，在SFM过程中基于三角化的几何估计方法要求相邻视角之间的相机运动较小，而这在宽基线条件下通常无法满足。目前，已有不少研究成果通过人工智能技术在单幅图像上实现了场景的深度估计，三维结构推理和语义标注等。一些研究开始利用单幅图像推理得到的语义信息，致力于改善传统基于多视角几何的深度估计，SLAM视觉导航系统的三维稀疏点云估计以及致密三维模型重建的精度。不过，迄今为主的绝大多数上述工作，无论是稀疏三维重建还是致密三维重建，几乎都还是基于窄基线的环境应用。传统基于几何的三维重建方法和语义的融合，开始成为发展趋势之一，而这也更符合人类对于场景的认知方式，而这也将在基于宽极线的三维重建中发挥作用。因此，提供一种在不同的宽基线环境且具备高精确度的三维重建方法，成为目前亟待解决的问题。

发明内容

本发明的技术方案是：一种基于语义先验和渐进式优化宽基线致密三维场景重建方法，所述方法包括步骤：

S1、提供多幅不同视角的图像，将所有图像进行超像素分割，划分为具有局部同质性和非规则形状的超像素集合；

S2、获取图像中各个超像素的初始深度和不同视角图像之间的位置关系，将高层语义先验作为约束条件，将处于同一平面的相邻超像素区域进行区域合并；

S3、将合并的所有区域利用马尔可夫随机场模型进行深度估计，获取原始深度图；

S4、通过深度融合的方式丢弃错误的深度估计并将原始深度图中冗余的深度信息进行移除，获取最终三维场景。