[发明专利]一种从单幅照片恢复出场景基本三维结构的方法

说明书

本发明公开了一种基于深度学习从单幅照片恢复出场景基本三维结构的方法，其步骤为：(1)利用深度卷积神经网路，对输入图片进行一系列变换操作，得到每一个像素的语义标签；(2)利用图像语义分割的输出结果图，将原图中属于前景的部分去掉，得到一张去除了前景的待修复图；(3)对于所有待修复像素，确定其修复优先级，结合当前优先级最高的被去除像素点附近的语义信息，从步骤(2)的输出图中寻找最佳匹配块，将该最佳匹配块复制到待修补位置处；(4)根据地面、立面交线，对步骤(3)得到的修复完毕的图像进行翻折操作，得到一张地面、立面相垂直的输出图，从而实现场景基本三维结构的恢复工作。

技术领域

本发明属于虚拟现实领域，具体涉及一种基于深度学习从单幅照片恢复出场景基本三维结构的方法，其为通过对单幅图像进行图像语义分割、目标去除、图像修复及图像翻折等一系列操作，实现三维场景重建的方法。

背景技术

三维场景重建是机器视觉的核心任务之一，也是人工智能研究领域中的一个重要研究方向。随着数字城市、智慧城市的发展，场景重建技术已成为近年来广大学者研究的热点。

在本发明前，已经有人对场景重建技术做了相关研究。基于图片的三维场景重建方法分为双目视觉三维重建方法和单目视觉三维重建方法。双目视觉三维重建方法使用两台摄像机从两个视点(左右平行或上下平行)观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差信息转换为深度信息。该种方法大致可以分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。双目视觉三维重建方法的优点是方法成熟，能够稳定地获得较好的重建结果；不足是运算量很大，且在基线距离较大的情况下重建效果明显降低。

鉴于双目视觉三维重建方法的不足，以及时下深度学习突飞猛进的发展，本发明将深度学习与单目视觉三维重建方法相结合，提出一种基于单幅图像进行场景重建的方法。

目前，基于单幅图像的场景重建最广泛和最实用的方法利用几何投影的原理进行重建。每一幅图像中含有的大量平行线、平行面、垂直线、垂直面、消失点、消失线等多种几何属性的约束，利用图像的这些几何约束进行摄像机标定或平面标定。进而估算出摄像机的内部各种参数、摄像机的焦距；然后通过测量目标的几何形状或计算目标高度来估算出必需的深度信息；最后利用几何投影知识等对图像进行数字化的表述，构建数字化的三维模型，将得到的模型绘制出来，这就是整个的基于单幅图像的传统三维重建过程。但这个过程自动化程度有待提高，步骤较为繁琐。例如，在进行摄像机标定和平面标定过程中，很容易由于标定误差而对最终效果产生影响。

近几年来，随着深度学习技术的发展，计算机对图像的语义处理能力逐步增强。利用基于深度学习的图像语义分割技术可以快速地对图像进行语义化分割，把图像中不同位置具有相同语义的像素点聚类成一个分类，并以不同颜色进行标记。随着图像语义分割技术的发展，其分割准确率与效率逐年提高。利用这种技术，可以快速得到图像中的前景、背景等语义信息。

图像修复技术即是利用破损区域周围的已知信息，按照一定的规则，来修补图像中遗失或者损坏的部分，以恢复图像的完整性。其方法主要分为两类：基于PDE的图像修复方法和基于样本的纹理合成方法。基于PDE的图像修复技术的主要思想是，利用待修补区域的边缘信息，从区域边界各向异性地向边界内扩散。该方法对小尺度破损处理的效果非常好；基于纹理的图像修复技术借鉴了纹理合成方法中的思想来寻找样本进行匹配复制，它主要分为基于图像分解修复算法，如Bertalmio等人在2003年提出的一种将图像分解成结构和纹理两部分同时进行修复的方法，和基于样本的纹理合成算法。其中Criminisi等人提出的算法以其实现简单和准确得到了广泛的应用。该算法充分利用了基于结构修复方法中的扩散方式来定义修复块的优先级，使得边缘附近(具有较多结构信息)的修复块具有较高的优先级，从而在修复纹理信息的同时对结构信息由一定的保持。本发明在该方法的基础上，与图像语义分割技术相结合，使修复技术快速且完善。