[发明专利]一种基于昼夜图像对进行三维立面布局估计的联合推断方法

说明书

本发明涉及一种基于昼夜图像对进行三维立面布局估计的联合推断方法，使用提取出的夜晚图像中几何信息去辅助白天图像的立面布局估计，步骤为：(1)基于语义的窗灯信息检测夜晚图像，从图像中提取三维立面窗子的几何信息，构成夜晚图像的点阵结构；(2)对白天图像进行语义分割，根据分割后语义对象的上下文关系，得到白天图像结构的表面布局；(3)将点阵结构与表面布局对齐，即点阵映射到白天图像上，将点阵当作一种辅助来指导图像的重新分割；(4)最后基于迭代的推断框架不断的更新点阵结构，进而计算新的立面边界与朝向，得到新的表面布局。本发明相比于仅用白天图像进行立面布局的估计，使用了更为充分的信息，得到准确的结果。

技术领域

本发明涉及城市图像理解领域，更具体地讲，涉及一种基于昼夜图像对进行三维立面布局估计的联合推断方法。

背景技术

在场景理解中非常经典的一项技术是根据单幅图像估计出其三维立面布局，但是由于缺少表示图像空间定量属性的特征，因此在获取精确三维立面布局结构方面没有取得革命性的进步。Zeng等人在图像分割领域证明了中层的重复结构能够提高三维立面布局结构的准确性。分析白天的图像发现一些杂物，比如建筑上的阴影变化以及场景中深度的不连续，这些都会给重复结构检测的效果带来影响。经过分析得出同一视点下的夜晚图像包含更为稳定的重复结构的特征，因此可以将白天图像与夜晚图像联合进行重复结构的检测，进一步提升了三维立面布局的估计结果。

本发明前，已有先驱者对室外城市环境的建筑立面做了建模，他们采用了不同的几何假设，比如基于图像分割、基于块以及基于平面的方法。Hoiem等人提出了基于特征学习对像素块分析的方法，该方法的整体步骤是首先对图像进行粗分割，然后对朝向不同的超像素(例如，平面向左，平面向前，或者平面向右)的特征线索进行提取，最终能够学习到分类模型对训练集以外的图像进行立面分类。由于Hoiem的方法不能够产生平面和块等的高层几何结构，只能够处理每个像素产生的粗略分割，因此Gupta等人在Hoiem的特征线索上提出了新的方法，该方法将邻近的不同朝向的分割块进行合并，形成具有三维体积的块，然后根据图像上的接地线和接天线将块放置到图像对应的三维空间中。Gupta的方法虽然能够对场景进行丰富的高层解释，但是其解释过程中的立面朝向或立面深度都是定性的，并且对于更为复杂的场景建模时，采用块近似表示建筑效果不佳。最近又有研究者提出了基于平面进行立面布局估计的方法，核心思想是使用平行四边形假设对建筑立面进行假设，该方法建立在平行直线集的正确分组之上，在灭点正确分组的地方能够实现更为精确的立面朝向分类。

除了上述方法，光度立体视觉是另一类使用静态室外相机的延时图像集进行立面朝向估计的方法，该方法采用兰伯(Lambert)在日间光照(太阳光和天际光)条件下的漫反射后显示出的颜色进行逐像素的表面法向。但是这类技术对于图像质量的要求相当高，需要至少包括一整天或者甚至一整年的数据，才能够获取准确的表面法向和深度。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于昼夜图像对进行三维立面布局估计的联合推断方法，对城市环境下的昼夜图像对进行三维立面布局的估计，整个过程是一个全新的结合结构和显示表面线索进行迭代推断的框架，能够有效的获得一致的点阵-边缘分割和立面区域定量的朝向，对于在图像分割块上的情况由点阵属性引导的合并和分类操作。本发明的这种方法产生了一个对三维立面的更有充分信息的解释，得到准确的定量结果。

本发明的技术解决方案：根据昼夜图像对对城市环境下的图像进行三维立面的估计，先对夜晚图像进行处理，提取出图像的点阵结构；之后检测白天图像的边界以及其他局部的几何信息；将夜晚图像的点阵结构映射到白天图像上，对白天图像进行重新分割；最后采用迭代的推断框架对三维立面的边界以及核心的点阵结构不断的更新，得到最终朝向连续的三维立面布局。