[发明专利]六自由度视频的简化的渲染

说明书

提供了六自由度视频的简化的渲染。本文中描述的实施例提供了用来降低渲染沉浸式3D视频内容的复杂性的技术。一个实施例提供了一种装置，所述装置包括一个或多个处理器，用来：接收表示一帧三维视频的平面投影的二维编码的数据集，将所述二维编码解码成纹理数据、几何数据和元数据，基于所述元数据而确定所述三维视频中的样本位置的可见性状态和占据状态，并且当所述样本位置可见且被占据时渲染用于所述样本位置的视频数据。

背景技术

六自由度（6DoF）视频是新兴的沉浸式视频用例，其为观看者提供沉浸式媒体体验，其中观看者控制场景的视点。更简单的三自由度（3DoF）视频（例如360度或全景视频）允许观看者从固定位置围绕X、Y和Z轴改变定向（被描述为偏转、俯仰和滚转）。6DoF视频使得观看者能够通过沿X、Y和Z轴的平移运动来改变位置。

可以使用点云来表示6DoF视频。然而，点云数据的渲染在计算上是昂贵的，使得难以以高帧速率渲染包含大量点的点云视频。此外，点云数据速率大，需要大容量用于存储或传输。

附图说明

为了可以详细地理解本发明实施例的以上叙述的特征的方式，可以参考实施例（在附图中图示了所述实施例中的一些）取得以上简要总结的实施例的较具体描述。然而，应注意：附图仅图示了典型实施例，并且因此不应被认为限制其范围。

图1是根据实施例的处理系统的框图；

图2是根据实施例的处理器的框图；

图3是根据实施例的图形处理器的框图；

图4是依照一些实施例的图形处理器的图形处理引擎的框图；

图5是根据本文中描述的一些实施例的图形处理器核的硬件逻辑的框图；

图6A-6B图示了根据本文中描述的实施例的线程执行逻辑，其包括在图形处理器核中采用的处理元件的阵列；

图7是图示了根据一些实施例的图形处理器指令格式的框图；

图8是根据另一个实施例的图形处理器的框图；

图9A-9B图示了根据一些实施例的图形处理器命令格式和命令序列；

图10图示了根据一些实施例的用于数据处理系统的示例性图形软件架构；

图11A是图示了根据实施例的IP核开发系统的框图；

图11B图示了根据本文中描述的一些实施例的集成电路封装组装件（assembly）的横截面侧视图；

图12是图示了根据实施例的示例性片上系统集成电路的框图；

图13A-13B是图示了根据本文中描述的实施例的用于在SoC内使用的示例性图形处理器的框图；

图14A-14B图示了根据本文中描述的实施例的附加示例性图形处理器逻辑；

图15A图示了沉浸式视频的多个形式；

图15B图示了用于沉浸式视频的图像投影和纹理平面；

图16图示了用于沉浸式视频的生成和消费的客户端-服务器系统；

图17A-17B图示了用于编码和解码3DoF Plus内容的系统；

图18A-18B图示了用于编码和解码6DoF有纹理的几何数据的系统；

图19A-19B图示了用于编码和解码6DoF点云数据的系统；

图20A-20C图示了根据本文中描述的实施例的点云编码渲染平面的使用；

图21图示了根据实施例的投影平面可见性确定；

图22图示了根据本文中描述的实施例的渲染3D视频的方法；