[发明专利]空间平面关系约束的三维重建方法及装置

说明书

本发明公开了一种空间平面关系约束的三维重建方法及装置，引入在室内和城市等场景中常见的三种局部和全局尺度空间平面关系为每一个重建面元提取三种支撑面元集，以支撑面元为载体将面元之间的空间关系作为额外约束引入面元生成阶段，抑制深度图噪声和定位误差的负面影响，提高最终三维重建模型的鲁棒性、一致性和准确度，新引入的部分计算量小，能保持现有方案的实时性和可扩展性，可以适应不同规模场景。

技术领域

本发明涉及图像处理技术领域，特别涉及一种空间平面关系约束的三维重建方法及装置。

背景技术

生活电子设备如手机等采集的图像主要为二维彩色图像，它实际上是三维成像物体在二维平面上的投影，每个像素仅仅具有二维平面位置，一般认为其与对应真实三维世界的物体相比缺少一个维度——深度。

为了让真实世界三维空间中的物体成像更加立体生动，出现了三维重建技术，它可以构建成像对象的三维模型，包含三个维度的位置信息(比二维图像多了深度这一维度)，与真实世界相同。因此利用三维重建得到的三维立体图像可以以更加逼真的效果呈现，给人真实立体的视觉感受。三维重建代表未来成像发展的重要趋势之一，此项技术让许多前沿领域应用成为可能，如(1)增强现实：通过将真实场景重建为三维模型输入计算机，可以将虚拟物体准确逼真的加入真实场景模型中，达到虚拟与现实交融的目的，在各种游戏娱乐、设计制造等领域有着无限应用前景。(2)导航与人机交互：将真实世界三维重建结果输入电脑，机器人无人机等设备可以以此为基础进行路径规划，自主避开障碍物，在实际场景中自主移动，结合三维物体检测和语音识别等技术，可以实现和人的智能交互，根据简单指令，自主完成复杂的任务，在智能机器人应用领域有无限可能。

一般情况下，要得到三维立体图像，需要综合多个从不同角度拍摄的二维图像的结果，有两种方式可以做到，一是在不同位置架设多个不同的摄像机对着同一个物体从不同角度拍摄，另一类是用单个摄像机，但是需要移动该摄像机到不同位置拍摄多张成像物体的图像，可以认为是移动摄像机录制一段关于成像对象的视频。

三维立体重建可以以上述方式得到的多张二维彩色(或灰度)图像合成得到。在此过程中，二维图像像素点缺失的深度信息是通过匹配不同图像的对应像素点(特征点)得到。此种方法需要鲁棒的立体匹配算法，一旦图像特征点较少或输入噪声较大，可能导致匹配失准，出现深度估计错误。另一种办法是直接利用深度摄像机直接拍摄得到深度图像，得到缺失的深度信息，这种方式估计深度较为简单方便可靠。随着消费级深度相机近年来的迅速普及，越来越多的三维重建方法直接依赖深度相机拍摄获取深度信息。

虽然三维重建所依赖输入数据的获取方式存在以上差异，但为了将该技术进行实际大规模应用，不同的三维重建算法一般需要具有以下几个特点：

1、计算迅速，具有实时性，即能够一边对成像对象拍摄，一边实时重建出三维物体。

2、针对不同尺度场景的扩展性好，即既能够重建小范围场景如室内场景(几米范围)，还能对大规模的场景如城市街道(几千米)等进行重建。

3、算法鲁棒，即能够在输入带有噪声的情况下得到稳定重建结果。

4、算法准确度高，即重建三维模型的位置和尺度与真实物体对应偏差小。

5、对硬件计算资源要求低，一般三维重建计算复杂度较高，一些算法需要依赖多块高性能图像计算单元(GPU)，对其现实应用造成了阻碍。