[发明专利]用于无设备的增强的现实与交互的投影仪和深度相机

说明书

背景技术

最近的触摸敏感的交互式显示屏常常被认为很有吸引力，因为用户可以触摸到虚拟对象。与多点触控特性和快速图形能力一起，这些系统的“直接触摸”方面允许对物理对象（诸如纸件文档、相片等）的操控有比之前通过传统输入设备获得的操控更令人信服的模拟。

最近的工作显示了感测和显示屏技术的运用使交互式表面正上方的交互成为可能，但这些被限制在显示屏的物理范围以内。通过将用户置于完全虚拟的3D环境或者现实与虚拟世界的混合之中，虚拟和增强现实技术可以被使用在显示屏的界限之外。不幸的是，为了达到真正拟真（immersive），这些方法通常要求累赘的头戴显示屏和跟踪设备。

发明内容

下面展示了简化的发明内容，以便提供对此处所描述的一些新颖实施例的基本理解。本概述不是广泛的概览，并且它不旨在标识关键/重要元素或描绘本发明的范围。其唯一目的是以简化形式展示一些概念，作为稍后展示的更具体实施例的序言。

此处公开的体系结构将多个深度感测相机和多个投影仪组合起来涵盖指定空间（例如，房间）以便实现增强的现实与虚拟交互。相机和投影机经过校准，允许开发空间中的对象的多维（例如，3D）模型，以及以受控的方式将图形投影到相同对象上的能力。与校准过的相机相结合，此体系结构将来自所有深度相机的数据并入统一的多维模型中。此外，有趣的用户交互被启用了。

为了在空间中的不同位置间转移对象时提供视觉连续性，用户的身体（或者视野中的其他对象）能充当可以将此交互投影于其上的临时幕布。当用户移动身体部位时，例如，在空间中，不需要任何其他对象，身体部位可以为环境中已有的屏幕/表面之间“过渡中”的数据充当临时“屏幕”。

此体系结构便于物理空间中的交互，包括连接对象、拾起对象、放下对象和使用诸如虚拟菜单的空间小部件。

为了实现上述及相关目的，本文结合下面的描述和附图来描述某些说明性方面。这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。结合附图阅读下面的详细描述，其它优点和新颖特征将变得显而易见。

附图说明

图1示出按照本文所公开的体系结构的多维建模系统。

图2示出按照本文所公开的体系结构的多维建模系统的可替换的实施例。

图3示出按照本文所公开的体系结构的多维建模方法。

图4示出图3的方法的其它方面。

图5示出按照本文所公开的体系结构运行增强的现实与交互的计算系统的框图。

具体实施方式

深度相机和投影仪的组合启用新的交互式体验。实时更新的密集3D格网（mesh）（互相连接的诸如三角形等的多边形组成的网）的丰富体验引起对计算机视觉的看法上的转变。代之以想方设法将格网降低为高度抽象的图元，许多交互可以通过较少破坏性的转换和格网上的模拟来直接实现。为此，那些对于用户的精准的物理形状和用户环境更为基本的属性可以被运用。

本体系结构运用深度感测相机结合投影仪的能力来感测和使用哪怕是环境中最小的角落作为显示器。例如，如同此处所采用的，除了颜色以外，深度感测相机还能够在每个像素位置直接感测距最近的物理表面的范围（距离）。在可替换的实现中，可采用3D飞行时间（time-of-flight）相机。

例如，用户可以用触摸来操控投影在未工具化（un-instrumented）的桌子上的虚拟对象，通过用一只手移动对象使其离开桌子进入另一只手中来从桌子上抓住对象，在用户走向交互式墙显示器时看着对象安放在手中，然后通过触摸墙来将对象放置在墙上。

本体系结构在环境中的各处都可启用一个表面，空间是计算机，甚至用户身体也可以作为显示器表面。换句话说，所有的物理表面都可以是交互式显示器。不仅交互式显示器是活动的，显示器之间的空间也是活动的，使得用户能够以有趣的方式与显示器关联，诸如触摸两个显示器使之互相连接等。图形可以被投影到用户的身体之上，使得半空中的交互成为可能，诸如仿佛虚拟对象是真实的那样握住虚拟对象，或者通过投影在手上的菜单作出选择。

多个校准过的深度相机和投影仪被组合起来使得无需用户工具也能够将图形投影在（例如，移动的、静止的）对象之上。相机和投影仪被校准到采用真实世界单位的单坐标系，允许创作交互式体验而无论哪个相机或者显示器最终被用于特定交互。