[发明专利]基于多个表面模型的混合三维场景重构

说明书

使用多个建模技术的组合来计算化重构三维(3D)场景。表示3D场景中的物体的点云通过不同建模技术来生成，并且每一个点以置信度值来编码，置信度值基于每一种建模技术的强度和弱点来反映描述3D场景中的物体的表面的准确性程度。点云被合并，在其中物体上的每一个位置的点根据提供最高置信度的建模技术来选择。

背景

用于根据输入图像或照片来进行三维(3D)场景的计算重构的传统技术包括多视图立体成像(MVS)以及剪影成形(SfS，也称为“视觉外壳”)等。虽然在一些条件下提供了令人满意的结果，但是这类方法各自具有某些弱点，以及在输入图像中的特定视角、材料、以及光照条件下出现的不准确性。

概述

使用多个建模技术的组合来计算重构三维(3D)场景。表示3D场景中的物体的点云通过不同建模技术来生成，并且每一个点以置信度值来编码，置信度值基于每一种建模技术的强度和弱点来反映描述3D场景中的物体的表面的准确性程度。点云被合并，其中物体上的每一个位置的点根据提供最高置信度的建模技术来选择。

在各个说明性示例中，MVS技术可被良好地适配用于具有高度纹理度的物体。相应地，在给定位置处的平均纹理度可以是在该点位置中的置信度的代表。相反，SfS技术可被良好地适配用于在局部尺寸中较小的物体(诸如长薄状物体)以及具有平滑和/或镜面表面特征的物体。当物体尺寸小时，对应的视觉外壳体积小，并因此在对应的网格点的位置中可存在更大的置信度。物体上的一位置处的视觉外壳体积的描述性尺寸可因此是在该位置处SfS点的置信度的代表。一旦彼此归一化，则将两个或更多个置信度进行比较，并选择具有更高置信度的点，这得到具有增强准确性的合并点云。

这一增强可使得依赖于3D模型的计算系统能够具有改善的性能，诸如在机器视觉、机器人、设计游戏、以及其它应用中。在一些实现中，这类系统中使用更准确的3D模型可减少误差并可改善处理速度以及下游处理的准确性。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。

附图描述

图1示意性地解说了根据本公开原理的示例性实施例的用于基于多个表面模型的混合三维(3D)场景重构的系统；

图2描绘了要被建模的物体的示例性线网重构；

图3是用于基于多个表面模型重构混合3D场景的说明性方法的流程图；

图4是可部分地被用来实现本发明的基于多个表面模型的混合3D场景重构的说明性计算机系统(诸如个人计算机(PC)或服务器)的简化框图；

图5示出可部分地被用来实现本发明的基于多个表面模型的混合3D场景重构的说明性计算平台的框图；

图6示出可部分地被用来实现本发明的基于多个表面模型的混合3D场景重构的说明性相机系统的功能性框图；以及

图7示出可部分地被用来实现本发明的基于多个表面模型的混合3D场景重构的说明性多媒体控制台的功能框图。

各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。

详细描述