[发明专利]在虚拟、增强或混合现实环境中生成和显示3D视频的方法和系统

说明书

公开了一种用于在VR和/或AR系统中显示3D视频的方法。3D视频可以包括从显示屏逸出的3D动画对象。3D视频可以与VR和/或AR环境内的对象交互。3D视频可以与用户交互，从而基于与用户在3D视频的某些部分处选择的决策对应的用户输入，可以针对3D视频产生不同的故事情节，并且可能产生不同的结局。3D视频可以是在最终3D渲染世界的门户内显示的3D图标。

技术领域

本公开一般地涉及被配置为便于一个或多个用户的交互式虚拟、增强或混合现实环境的系统和方法。

背景技术

现代计算和显示技术促进了用于所谓“虚拟现实”(VR)、“增强现实”(AR)或“混合现实”(MR)体验的系统的发展，在这些体验中，数字再现的图像或其部分以看起来或可被感知为真实的方式呈现给用户。VR场景一般涉及呈现数字或虚拟图像信息，而对其它实际的真实世界视觉输入不透明；而AR/MR场景一般涉及呈现数字或虚拟图像信息作为对用户周围的真实世界的可视化的增强，以使数字或虚拟图像(例如，虚拟内容)可以看起来是真实世界的一部分。混合现实可以类似于增强现实场景，因为混合现实场景混合了真实世界和数字世界。AR在下文中可以指AR和MR两者。

在VR/AR环境中，存在各种需要显示的虚拟内容。需要在VR/AR环境中显示诸如3D视频之类的虚拟内容。在VR/AR环境中，用户能够在VR/AR环境周围自由移动以观看正在显示的3D视频。当在VR/AR环境中显示3D视频时，当前用于将3D视频渲染(render)到显示屏的技术可能看起来不够逼真。当这些3D视频可以与用户互动时尤其如此。

因此，需要一种在VR/AR环境中以更逼真的方式生成和显示3D视频的方法。

发明内容

根据一些实施例，一个实施例涉及一种用于在虚拟和/或增强现实环境中显示超出显示屏表面的3D视频的方法，所述方法包括识别3D视频。此外，生成对应于所述3D视频的一个或多个3D模型；以及在适当的触发时间连同所述3D视频的渲染一起渲染所述一个或多个3D模型。

在一个或多个实施例中，所述3D视频是立体3D视频，其中所述一个或多个3D模型被生成有动画。所述方法可以进一步包括在所述3D视频的显示屏(至少一部分)之外显示所述一个或多个3D模型的动画，其中所述一个或多个3D模型的动画看起来离开所述3D视频的平面表面并进入用户的3D环境中。所述一个或多个3D模型的动画可以看起来离开所述3D视频的非平面表面并进入用户的3D环境中。所述方法可以进一步包括将一个或多个3D模型渲染到一个或多个视频窗格(video pane)上，以及针对一个或多个观看方向同时显示所述一个或多个视频窗格。

在一个或多个实施例中，所述立体3D视频与所述一个或多个3D模型一起显示，深度信息包括从虚拟和/或增强现实设备的用户到虚拟和/或增强现实环境内显示的所述3D视频和相应的一个或多个3D模型的距离。所述3D视频可以具有包含控制数据的视频文件格式，其中所述控制数据指示视频播放器在所述适当的触发时间连同所述3D视频的渲染一起渲染所述一个或多个3D模型。所述一个或多个3D模型的渲染至少部分地基于以体素(Voxel)为基础的视频流。

一些实施例涉及一种用于显示超出显示屏表面的3D视频的显示系统，该系统包括增强现实头戴式显示系统，以及用于处理数据的一个或多个模块，其中一个或多个模块被存储在一个或多个存储器中，所述一个或多个模块可被配置为执行识别3D视频。所述一个或多个模块也可被配置为执行生成对应于3D视频的一个或多个3D模型。所述一个或多个模块也可被配置为执行在适当的触发时间连同3D视频的渲染一起渲染所述一个或多个3D模型。