[发明专利]在虚拟、增强或混合现实环境中生成和显示3D视频的方法和系统

权利要求书

1.一种显示超出显示屏表面的3D视频的方法，所述方法包括：

识别3D视频；

生成对应于所述3D视频的一个或多个3D模型；以及

在适当的触发时间连同所述3D视频的渲染一起渲染所述一个或多个3D模型。

2.根据权利要求1所述的方法，其中所述3D视频是立体3D视频。

3.根据权利要求2所述的方法，其中所述一个或多个3D模型被生成有动画。

4.根据权利要求3所述的方法，进一步包括在所述3D视频的显示屏之外显示所述一个或多个3D模型的所述动画。

5.根据权利要求4所述的方法，其中所述一个或多个3D模型的所述动画看起来离开所述3D视频的平面表面并进入用户的3D环境中。

6.根据权利要求4所述的方法，其中所述一个或多个3D模型的所述动画看起来离开所述3D视频的非平面表面并进入用户的3D环境中。

7.根据权利要求1所述的方法，进一步包括：

将所述一个或多个3D模型渲染到一个或多个视频窗格上，以及

针对一个或多个观看方向同时显示所述一个或多个视频窗格。

8.根据权利要求2所述的方法，其中所述立体3D视频与所述一个或多个3D模型一起显示。

9.根据权利要求1所述的方法，其中在所述3D视频和所述一个或多个3D模型的渲染中深度信息作为因素被计入，所述深度信息包括从虚拟和/或增强现实设备的用户到在虚拟和/或增强现实环境内显示的所述3D视频和相应的一个或多个3D模型的距离。

10.根据权利要求1所述的方法，其中所述3D视频包含控制数据，其中所述控制数据指示视频播放器在所述适当的触发时间连同所述3D视频的渲染一起渲染所述一个或多个3D模型。

11.根据权利要求1所述的方法，其中所述一个或多个3D模型的渲染至少部分地基于：基于体素的视频流。

12.一种用于显示超出显示屏表面的3D视频的显示系统，包括用于实现根据权利要求1至11所述的方法中的任一者的装置。

13.一种视频文件格式，包括：

一个或多个动画流；

数据存储；以及

视频流或音频流中的至少一者。

14.一种方法，包括：

接收视频的视频文件，所述视频文件包括：

一个或多个动画流；

数据存储，其包含控制数据；以及

视频流或音频流中的至少一者；

通过所述控制数据和时间轴控制器动态地生成控制流；

加载从所述数据存储接收的3D对象的模型；以及

将所述3D对象附到所述一个或多个动画流中的动画流上。

15.一种实现混合现实视频播放器的计算机系统，包括：

计算机处理器，其用于执行程序代码指令的集合；以及

存储器，其用于保持所述程序代码指令，其中所述程序代码指令包括程序代码，用于执行：

接收视频的视频文件，所述视频文件包括：

一个或多个动画流，

数据存储，其包含控制数据，以及

视频流或音频流中的至少一者，

通过所述控制数据和时间轴控制器动态地生成控制流；

加载从所述数据存储接收的3D对象的模型；以及

将所述3D对象附到所述一个或多个动画流中的动画流上。