[发明专利]用于生成混合现实中的动态虚拟内容的设备和方法

说明书

要被叠加到真实3D场景的表示的动态虚拟内容符合情景，该情景在运行时间之前被定义并涉及真实世界约束(23)。在真实3D场景中捕获真实世界信息(22)，并且在存在真实世界约束的情况下在运行时间执行情景(14)。当未从真实世界信息中识别(12)真实世界约束时，在执行情景之前执行(13)真实3D场景的表示到虚拟适配3D场景的变换，使得虚拟适配3D场景遵守那些约束，并且在取代真实3D场景的虚拟适配3D场景中而不是在真实3D场景中执行情景。混合现实的应用。

技术领域

本发明涉及混合现实(MR)领域，其中计算机生成的(CG)内容不是仅覆盖在真实世界的视图的顶部，而是真正地与真实世界环境交互(interact)，使得数字和物理现实无缝地融合在一起。

背景技术

增强现实(AR)应用是指其元素通过CG内容(诸如视频或图形)被增强的真实世界环境的现场视图。在MR中，CG内容还与真实世界环境交互。

在AR/MR应用中，将视觉CG内容在给定位置插入真实世界视图中。该位置通常相对于预定义的可视2D/3D图案被定义(用于例如工业应用)、通过空间坐标(例如基于室外定位的应用)或屏幕坐标(例如Google Glass应用)被预先确定、或者由用户手动选择(例如交互式应用)。

然而，在高级应用中，虚拟场景(scene)可能包含准备好的动画内容。这从基于单个平面和减少的占用体积的动画(例如，就地跳跃的人物或转圈的舞者)扩展到基于不同平面的复杂的情景构建(scenario-built)动画，该不同平面涉及具有可能的交互和复杂的轨迹的若干个人物和/或物体(例如，人物在平面上从初始位置走到第二位置，他在第二位置抓住物体，然后他改变他的方向以将该物体隐藏在另一个物体的后面，然后他再次改变他的方向并突然掉进洞里)。

为了良好的用户体验、沉浸感和真实性，这样复杂的虚拟动画内容应当在空间上与真实环境交互：人物走在其上的平面可以是真实的平坦表面，其应当足够大并具有足够的自由场所，例如桌子，遮挡物体可以是桌子上的真实物体，洞可以对应于桌子的边界，等等。

由艺术家创建动画CG内容是基于这种对真实环境的几何的强假设和约束以及真实元素的存在还是缺乏。然而，如果不控制真实环境，则有效呈现这样复杂的MR动画变得有问题。例如，水平场所可能比期望的小得多或大得多，水平平面可能在其上具有许多物体，使得没有留下足够的自由场所来在没有几何像差的情况下执行动画(比如缺少遮挡)。该情况还可能导致质疑动画本身的语义。

已知的解决方案包括使虚拟动画适配于真实环境。这可以以两个步骤来进行：准备虚拟动画内容时在上游，通过使动画参数化；以及在稍后的预处理步骤中，通过扫描真实环境并分析其布局，以便计算要应用于虚拟内容的最佳定位、取向和比例。

在Daqri LLC的专利申请US 2015/0187108中，在这方面开发了灵活的加强的解决方案，其中增强现实内容适配于局部环境的真实世界空间几何中的改变。更准确地说，设备可以基于被映射的真实世界空间几何来识别真实世界空间几何中的物理改变，并且响应于该物理改变来修改虚拟物体。这样的修改可以与虚拟物体的大小、形状、定位或行为有关。

然而，这样的现有解决方案不保证真实环境包含足以有效呈现动画的最小要求。例如，可能缺少水平平面以使虚拟人物在其上行走，或者真实物体可能隐藏被人物抓住的虚拟物体。

此外，如US 2015/0187108中提出的那样，使虚拟内容动态适配可能不利于所希望的情景。另外，提供足够灵活的情景以适配于大范围的真实情况可能需要大量的存储和计算资源。

发明内容

本公开的目的是有利地实现MR情景到大范围的真实情况的灵活适配，而不需要大量附加的存储或计算资源。

在优选实施例中，因此可以基于真实环境实时执行具有各种约束的多个情景。