[发明专利]用于组合来自多个深度相机的数据的系统和方法

说明书

相关申请交叉引用

本申请要求2012年10月15日提出的美国专利申请13/652181 的优先权，该申请全文通过引用结合于本文中。

背景技术

深度相机以交互式高帧率采集其环境的深度图像。深度图像提供在相机的视野内对象与相机本身之间距离的像素方面测量。深度相机用于解决在计算机视觉的一般领域中的许多问题。例如，深度相机可用作监控行业中解决方案的组件，以跟踪人们和监视对禁止区域的接近。又如，相机可应用到HMI（人机接口）问题，如跟踪人的移动和其手部和手指的移动。

近年来，在用于与电子装置进行用户交互的姿势控制的应用方面取得了相当大的进步。由深度相机捕捉的姿势例如能够用于控制电视，用于家庭自动化，或者用于允许与平板、个人计算机和移动电话的用户接口。随着在这些相机中使用的核心技术继续改进并且其成本下降，姿势控制将在与电子装置的人交互中继续起到越来越大的作用。

附图说明

图中示出用于组合来自多个深度相机的数据的系统的示例。示例和图形是说明性的，而不是限制。

图1是示出其中定位了两个相机以查看某个区域的示例环境的图。

图2是示出其中多个相机用于捕捉用户交互的示例环境的图。

图3是示出其中多个相机用于捕捉由多个用户进行的交互的示例环境的图。

图4是示出两个示例输入图像和从输入图像获得的复合合成图像的图。

图5是示出相机投影的示例模型的图。

图6是示出两个相机的示例视野和合成分辨率线条的图。

图7是示出朝向不同方向的两个相机的示例视野的图。

图8是示出两个相机和相关联虚拟相机的示例配置的图。

图9是示出用于生成合成图像的示例过程的流程图。

图10是示出用于处理由多个单独相机生成的数据和组合数据的示例过程的流程图。

图11是其中由中央处理器处理来自多个相机的输入数据流的示例系统图。

图12是其中来自多个相机的输入数据流在由中央处理器组合前由个别处理器处理的示例系统图。

图13是其中一些相机数据流由专用处理器处理，而其它相机数据流由主机处理器处理的示例系统图。

具体实施方式

本文描述了用于将从多个深度相机拍摄的深度图像组合成复合图像的系统和方法。复合图像中捕捉的空间的体积在大小和形状方面是可根据使用的深度相机的数量和相机的成像传感器的形状配置的。在复合图像上能够执行人或对象的移动的跟踪。被跟踪的移动随后能够由交互式应用用于在显示器上再现被跟踪的移动的图像。

现在将描述本发明的各种方面和示例。以下描述提供特定细节以便完全理解这些示例并实现这些实施例的描述。然而，本领域的技术人员将理解，实践本发明可无需这些细节的许多内容。另外，一些熟知的结构或功能可未详细示出或描述，以免不必要地混淆相关描述。

在下面所述描述中使用的术语即使是与本技术的某些特定实施例的详细描述结合使用，也要以其最广泛的合理方式解释。某些术语在下面甚至会被强调；然而，要以任何受限方式解释的任一术语将如本详细说明部分中一样公开和具体地定义。

深度相机是以每秒多帧捕捉通常为连续深度图像的序列的深度图像的相机。每个深度图像包含每像素深度数据，即，图像中的每个像素具有表示在成像场景的对象的对应区域与相机之间距离的值。深度相机有时称为三维(3D)相机。除其它组件外，深度相机可包含深度图像传感器、光学透镜及光照源。深度图像传感器可依赖几个不同传感器技术之一。在这些传感器技术中有称为“TOF”的飞行时间（包括扫描TOF或阵列TOF）、结构光、激光散斑图技术、立体相机、有源立体传感器及色度成形法(shape-from-shading)技术。大多数这些技术依赖有源传感器，表现在它们为其自己的光照源供电。与此相反，诸如立体相机等无源传感器技术不为其自己的光照源供电，而是取决于环境照明。除深度数据外，相机也可以与常规彩色相机所用的相同方式生成彩色数据，并且彩色数据能够与深度数据组合以便进行处理。