[发明专利]一种基于昼夜图像对进行三维立面布局估计的联合推断方法

权利要求书

1.一种基于昼夜图像对进行三维立面布局估计的联合推断方法，其特征在于，包括如下步骤：

(1)首先，给出一组对齐的白天夜晚图像对，基于语义的窗灯信息检测出夜晚图像中的点阵结构；

(2)对白天图像进行语义分割，根据分割后语义对象的上下文关系，得到白天图像的立面布局结构；

(3)将步骤(1)中点阵结构与步骤(2)的白天图像的立面布局结构对齐，即将点阵结构映射到立面布局结构上，将点阵结构作为可信的点阵结构，即当作一种辅助来指导对白天图像进行重新分割；

(4)最后使用迭代的推断框架对白天图像的立面布局结构的边界以及夜晚图像的点阵结构进行更新，计算白天图像的立面布局结构的深度与朝向，得到最终的朝向连续的图像的三维立面布局；

所述步骤(2)中，对白天图像进行语义分割时：首先每一个点阵对应一个边界，为边界内的区域，即白天图像的立面布局结构提供准确的朝向；再利用提升点阵和分割结果的全局能量函数实现点阵结构与步骤(2)中对白天图像进行语义分割后的结果即分割块间的一致性度量；所述提升点阵和分割结果的全局能量函数的过程为：

(n1)给定点阵结构的集合L＝{L_i},i＝1,...,|L|，其中|L|为点阵结构的个数；每个点阵结构L_i由多个纹理元T_i^j组成，记为其中n_i是第i个点阵的的元素数目；每个纹理元T_i^j具有一个在矫正图像空间下的中心位置，记为

(n2)给定白天图像I_d的立面布局配置S＝{S_i},i＝1,...,|S|，其中|S|是立面布局配置的单元个数；每个配置的单元S_i是由多个超像素组成，可记为其中m_i是配置单元中的超像素个数；当S_i和S_j为相邻配置时，图像上存在一条像素重合的边界，记为e_ij；

(n3)对象的全局能量函数为其中Ψ_data(L_i)表示点阵结构的集合中每一个独立点阵L_i的完整性和规律性，并且累积所有候选点阵的能量，所述候选点阵是点阵结构的集合L中的点阵；Ψ_incon(S_j,L)度量了估计的立面布局和点阵结构结果的一致程度，累积所有与点阵结构集合L有重叠区域的候选区域S_j；Ψ_smooth(S,L)约束了点阵结构的数量和分割的区域；

所述步骤(4)中使用迭代的估计算法为：

在对白天的立面布局结构的边界和夜晚图像对应点阵集合中核心的点阵进行更新时，采用一种类似于期望最大化(EM)的方式进行迭代求解，在每一步迭代的过程中，点阵被认为是一个更加有效和准确的线索，决定了移动的顺序，迭代求解步骤为：

(t1)根据对齐的白天夜晚图像对I_n,I_d，从夜晚图像I_n中检测初始的点阵结构的集合L，从白天图像I_d获取初始的立面布局分割S；

(t2)将L映射到S上，得到点阵-区域配置，在没有任何操作被接受的前提下，基于边界约束扩张点阵结构集合L；

(t3)根据步骤(t2)获得所有点阵-区域配置的不一致情况；

(t4)如果是出现白天图像分割的结果，即分割块边界穿过点阵，有重叠边的情况，首先判断点阵集合L中的元素L_i和L_j的对齐情况，若是对齐，合并点阵L_i和L_j，进一步合并区域；若是没有对齐，则分离区域；

(t5)如果是出现点阵与点阵相邻处每个超像素不一致的情况，则基于点阵结构对应的质量和边缘强度分离点阵L_i；

(t6)如果全局能量函数Ψ降低了，则接受(t2)-(t5)的操作，并且更新状态；

(t7)最后得到昼夜图像对的点阵结构及其对应的区域分割。

2.根据权利要求1所述的基于昼夜图像对进行三维立面布局估计的联合推断方法，其特征在于：所述步骤(1)中，基于语义的窗灯信息检测出夜晚图像中的点阵结构时，对透视畸变的点阵采用基于随机采样一致性(RANSAC)的变种平面分组方法来识别由邻近极值区域(closed extreme regions)的方式。