[发明专利]用于对三自由度和体积兼容视频流进行编码和解码的方法、设备

说明书

三维场景序列由编码器编码为视频，并传输到检索3D场景序列的解码器。从确定的视点可视的3D场景的点被编码为流的第一轨道中的颜色图像，以便能够独立于流的其他轨道进行解码。颜色图像与三自由度呈现兼容。场景的深度信息以及剩余点的深度和颜色被编码在流的单独的轨道中，并且仅在解码器被配置为对场景进行解码以用于体积呈现的情况下被解码。

1.技术领域

本公开涉及体积视频内容的领域。本公开也在表示体积内容的数据的格式化的上下文中被理解，例如用于在诸如移动设备或头戴式显示器(Head-Mounted Display，HDM)的终端用户设备上的沉浸式呈现。

2.背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本公开的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应该理解的是，这些陈述应该从这个角度来阅读，而不是作为对现有技术的承认来阅读。

沉浸式视频，也称为360°平面视频，允许用户通过围绕静止的视点的头部的旋转来观看自己周围的一切。旋转只允许3自由度(3Degrees of Freedom，3DoF)体验。即使3DoF视频对于第一次全向视频体验来说是足够的，例如使用头戴式显示设备，3DoF视频对于期望更多自由的观看者来说可能很快变得令人沮丧，例如通过体验视差。此外，3DoF还可能导致眩晕，因为用户永远不会仅旋转他的头部，而且还会在三个方向上平移他的头部，这种平移在3DoF视频体验中是不会再现的。

体积视频(也称为6自由度视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转，用户还可以在观看的内容内平移他的头部，甚至他的身体，并且体验视差甚至体积。这样的视频极大地增加了沉浸感和对场景深度的感知，并且还通过在头部平移期间提供一致的视觉反馈来防止眩晕。内容通过允许同时记录感兴趣的场景的颜色和深度的专用传感器创建。与摄影测量技术组合的颜色照相机的装备的使用是执行这种记录的常用方法。

虽然3DoF视频包括由从纹理图像的解映射产生的图像序列(例如，根据纬度/经度投影映射或等矩形投影映射编码的球面图像)，但6DoF视频帧嵌入来自几个视点的信息。6DoF视频帧，也称为多视图+深度(Multiview+Depth，MVD)帧，包括从不同视点和/或视图方向捕获的多个图像。它们也可以被视为从三维捕获产生的一系列时间点云。取决于观看条件，可以考虑两种体积视频。第一种(即完整的6DoF)允许在视频内容中的完整自由导航，而第二种(即3DoF+)将用户观看空间限制在有限的体积内，允许有限的头部的平移和视差体验。这第二上下文是自由导航和坐着的观众的被动观看条件之间的有价值的权衡。此外，3DoF+视频比6DoF视频需要更少的照相机和更简单的装备。

3DoF视频可以在流中被编码为根据所选投影映射(例如，立方体投影映射、金字塔投影映射或等矩形投影映射)生成的矩形颜色图像序列。这种编码具有使用标准图像和视频处理标准的优点。3DoF+视频(颜色图像+深度图像)的视图可以通过传统的标准编码方法进行编码。然而，对n个视图视频进行编码等同于对2n个视频进行编码，并且需要大量的数据，使得得到的流不适合广播或流式传输。3DoF+和6Dof视频需要额外的数据以对点云的有色点的深度进行编码。当在流中对场景进行编码时，体积场景的呈现的类型(即三维呈现或体积呈现)不是先验(priori)已知的。迄今为止，流是为一种或另一种呈现而编码的。缺乏可以承载表示体积场景的数据的流格式以及相关联的方法和设备，该流格式可以被一次编码并被解码为3DoF视频或体积视频(3DoF+或6DoF)，并且该数据需要比MVD标准编码更少的数据量。

3.发明内容

说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定的实施例”的引用指示描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定包括特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合实施例描述特定的特征、结构或特性时，无论是否明确地描述，结合其他实施例影响这样的特征、结构或特性都在本领域技术人员的知识范围内。