[发明专利]基于语义先验和渐进式优化宽基线致密三维场景重建方法

权利要求书

1.一种基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，所述方法包括步骤：

S1、提供多幅不同视角的图像，将所有图像进行超像素分割，划分为具有局部同质性和非规则形状的超像素集合；

S2、获取图像中各个超像素的初始深度和不同视角图像之间的位置关系，将高层语义先验作为约束条件，将处于同一平面的相邻超像素区域进行区域合并；

S3、将合并的所有区域利用马尔可夫随机场模型进行深度估计，获取原始深度图；

S4、通过深度融合的方式丢弃错误的深度估计并将原始深度图中冗余的深度信息进行移除，获取最终三维场景。

2.根据权利要求1所述的基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，在步骤S2中，在进行区域合并时，利用马尔可夫随机场模型对不同视角图像中每个超像素平面的位置和朝向进行推理，以确定两幅待匹配图像中的两个超像素是否属于三维空间中的同一区域；

其中，将第n^th幅图像中的第i^th个超像素所对应的平面参数α_iⁿ将对应于MRF模型中的一个节点，并在超像素的外观特征基础上结合超像素之间的共线性、连接性和共面性，图像间的对应关系和深度等多元图像特征创建能量函数：

其中，Ψ为存在对应关系的图像对集合，为对应于参考图像n的相机姿态，而d_T为通过三角化得到的深度值。图像n中的超像素i所对应的平面参数为θ为通过Ground Truth深度数据学习得到的描述不同图像行特征统计属性的参数，Yⁿ为通过单幅图像特征估计得到的超像素平面参数所对应的置信度，指的是图像n中通过三角化获得近似的深度，代表是图像n中通过单幅图像特征估计得到的超像素平面参数所对应的置信度。

3.根据权利要求2所述的基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，能量函数的第一项的计算公式为：

其中，来表示由S_i个像素组成的超像素i中图像点s_i的特征，为从相机光心发射经过超像素i上三维点s_i的射线，θ_r为通过GroundTruth深度数据学习得到的描述不同图像行特征统计属性的参数。

4.根据权利要求2所述的基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，能量函数的第二项的计算公式为：

其中，表示两个像素点s_i和s_j之间的相对距离。

5.根据权利要求2所述的基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，能量函数的第三项的计算公式为：

在上式中，假设在图像m和n中存在J^mn个匹配点对，

而

6.根据权利要求2所述的基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，能量函数的第四项的计算公式为：

在图像n中，有Kⁿ个点可以通过三角化获得近似的深度d_T。

7.根据权利要求1所述的基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，在步骤S2中，利用马尔科夫随机场模型获取图像中各个超像素的初始深度和不同视角图像之间的相抵位置关系后，采用高层语义先验来分别作为超像素之间的新约束，再利用无监督分割法来实现区域合并。

8.根据权利要求7所述的基于语义先验和渐进式优化宽基线致密三维场景重建方法，其特征在于，基于权重函数W(i,j)并利用无监督分割法来实现区域合并，其中：

在上式中，θ_ij为两个相邻超像素i和j之间的各自法线和夹角，OBJ_ij则代表通过基于决策树的图像语义标注算法所得到的相邻i和j之间的语义类别差异，如果两者属于相同的语义类则人为赋予OBJ_ij较低的权重，反之则赋予较大的权重，a₁＝a₂＝0.5。