[发明专利]一种从图像中恢复三维几何信息的方法

说明书

技术领域

本发明涉及计算机视觉领域，具体涉及一种从图像中恢复三维几何信息的方法。

背景技术

立体匹配一直是计算机视觉和摄影测量学中的重要问题。两幅图像在很接近的视角上分别记录了真实世界的场景，双目线索就是指物体投影在两个成像平面的不同位置，位置的差异随着物体深度的变化而相应变化。在过去的数十年里，大量的立体视觉系统被提出，使得该领域的研究出现了长足的进步。但是，由于问题本身的病态性，依旧没能得到完全的解决。

在现有的立体匹配方法中，基于图的方法是当中最流行的技术。它能得到和观察数据吻合的平滑视差图。比较典型的做法是利用图割法(graph cuts)来优化由数据项和平滑项构成的能量函数，其中数据项用来度量两幅图像对应像素之间的颜色一致性，平滑项则是为了保证视差图整体的平滑，在相邻的像素点被赋予不一样的视差时给予适当的惩罚。当然，为了能够处理遮挡问题，可以在颜色一致性约束和平滑约束之外，加入匹配的唯一性约束。另外，也有工作利用主图像上的颜色分块，将能量函数同时定义在像素层和颜色块层上。这样，像素层可以很好地度量颜色一致性以及进行遮挡检测，颜色块层上则可以更为合理地定义平滑约束。

另一方面，单幅图像中丰富的纹理、色彩、焦距和雾化等信息也可以提供重要的深度推断线索。有了足够丰富的先验知识，从单幅图像中获取场景的整体三维结构是可以实现的，但这是一个很难的问题。很多的单目线索不仅依赖于先验知识，还依赖于整体的上下文信息，因此不仅难以用启发式的约束，也很难从图像的局部出发来进行推测。要让机器视觉的能力接近这个目标，我们需要大量的训练数据，以及一个恰当的概率模型来描述。相对于立体视觉，该领域的研究工作要少得多。不过随着机器学习理论的发展，已经有很好的工作相继出现。比如斯坦福大学Saxena等人的使用监督学习方法利用多尺度的马尔科夫随机场(MRF)模型建立图像特征与深度信息之间、相邻位置以及不同尺度下深度值之间的关系的方法，还有卡耐基梅隆大学Hoiem等人的方法，利用图像所能提供的诸多有用线索：材质、位置、纹理梯度，阴影，消失点等来逐步地构建该图像的结构知识：从像素到超像素再到超像素簇，最后得到每个超像素的几何分类标记。

双目线索是基于物体投影在两幅图像中的位置差异，是场景几何的直接反应而与图像本身的具体内容无关。单目线索则相反，依赖于先验知识以及图像本身局部和整体的内容和结构。可以说这两种线索对于几何信息推断有着良好的互补性。

发明内容

本发明的目的是提供一种从图像当中恢复三维几何信息的方法，通过将主图像中的单目线索加入到传统的立体视觉系统中来提供额外的深度推断约束，将基于机器学习从单幅图像推测三维信息的方法和基于两幅图像的立体匹配方法整合到同一框架中，达到恢复三维几何信息的目的。

为了达到以上发明目的，本发明提供了一种从图像中恢复三维几何信息的方法，所述方法包括以下步骤：

S1：获取大量场景图像及其对应的深度图作为训练库；

S2：划分所述图像为图像块，利用统计学习方法以下式描述其对应于不同深度的概率并得到不同的参数值：