[发明专利]一种基于昼夜图像对进行三维立面布局估计的联合推断方法

摘要

本发明涉及一种基于昼夜图像对进行三维立面布局估计的联合推断方法，使用提取出的夜晚图像中几何信息去辅助白天图像的立面布局估计，步骤为：(1)基于语义的窗灯信息检测夜晚图像，从图像中提取三维立面窗子的几何信息，构成夜晚图像的点阵结构；(2)对白天图像进行语义分割，根据分割后语义对象的上下文关系，得到白天图像结构的表面布局；(3)将点阵结构与表面布局对齐，即点阵映射到白天图像上，将点阵当作一种辅助来指导图像的重新分割；(4)最后基于迭代的推断框架不断的更新点阵结构，进而计算新的立面边界与朝向，得到新的表面布局。本发明相比于仅用白天图像进行立面布局的估计，使用了更为充分的信息，得到准确的结果。

主权项

一种基于昼夜图像对进行三维立面布局估计的联合推断方法，其特征在于：(1)首先，给出一组对齐的白天夜晚图像对，基于语义的窗灯信息检测出夜晚图像中的点阵结构；(2)对白天图像进行语义分割，根据分割后语义对象的上下文关系，得到白天图像的立面布局结构；(3)将步骤(1)中点阵结构与步骤(2)的白天图像的立面布局结构对齐，即将点阵结构映射到立面布局结构上，将点阵结构作为可信的点阵结构，即当作一种辅助来指导对白天图像进行重新分割；(4)最后使用迭代的推断框架对白天图像的立面布局结构的边界以及夜晚图像的点阵结构进行更新，计算白天图像的立面布局结构的深度与朝向，得到最终的朝向连续的图像的三维立面布局。