[发明专利]用于沉浸式视频格式的方法、装置和流

说明书

技术领域

本公开涉及沉浸式视频内容的领域。本公开内容也在表示沉浸式内容的数据的格式化的上下文中被理解，例如用于终端用户设备(例如移动设备或头戴式显示器)上的渲染。

背景技术

本部分是为了向读者介绍可能与下文所述的和/或所要求保护的本公开的各个方面相关的现有技术的各个方面。相信本讨论有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应当理解，这些陈述应鉴于此被解读，而不是作为对现有技术的承认。

诸如头戴式显示器(HMD)或CAVE的显示系统允许用户浏览沉浸式视频内容。可以用CGI(计算机生成的影像)技术获得沉浸式视频内容。通过使用这种沉浸式视频内容，可以根据观看内容的用户的视点来计算内容，但是具有不切实际的图形质量。可以通过在诸如球体或立方体的表面上映射视频(例如，由多个相机获取的视频)来获得沉浸式视频内容。这种沉浸式视频内容提供了良好的图像质量，但出现了与视差、尤其是对于前景(即接近相机)的场景的对象的视差有关的问题。

在沉浸式视频内容的上下文中，自由视点视频(FVV)是一种用于多视点视频的表示和编码以及后续从任何视点重新渲染的技术。在沉浸式上下文中增强用户体验的同时，要传送给渲染器的数据量非常重要并可能是一个问题。

发明内容

说明书中对“一个实施例”、“实施例”、“示例实施例”、“具体实施例”的参考指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括所述特定特征、结构或特性。此外，这种短语不必参照同一实施例。此外，当结合实施例来描述特定特征、结构、或特性时，应认为结合其他实施例(不管是否是显式描述的)来实现这种特征、结构、或特性是在本领域技术人员的知识内的。

本公开涉及一种根据场景的对象的至少一个图像生成流的方法，所述方法包括：

-获得与表示对象的至少一部分的点云的点相关联的数据；

-根据与对象的至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息，获得表示参数表面的至少一个参数，所述至少一个几何特性是根据与点云的点相关联的表面获得的，点云的点与对象的至少一部分相关联；

-根据所述数据获得与参数表面相关联的高度图，所述高度图包括表示所述对象的至少一部分与所述参数表面之间的距离的信息；

-根据所述数据获得与参数表面相关联的至少一个纹理图；

-通过将与至少一个参数相关的第一语法元素、与高度图相关的第二语法元素、与至少一个纹理图相关的第三语法元素和与获取设备的位置相关的第四语法元素组合在一起而生成流。

根据具体特性，至少一个参数根据对象的至少一部分的变形随时间变化。

根据具体特性，所述数据包括纹理信息和表示深度的信息。

本公开还涉及一种设备，该设备被配置为实现上述根据场景的对象的至少一个图像生成流的方法。

本公开还涉及携带表示场景的对象的数据的流，其中，数据包括：

-第一语法元素，与根据与对象的至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息而获得的表示参数表面的至少一个参数相关，所述至少一个几何特性是根据与点云的点相关联的表面获得的，所述点云的点与对象的至少一部分相关联；

-第二语法元素，与根据与表示所述对象的至少一部分的点云的点相关联的第二数据所获得的高度图相关，所述高度图包括表示所述对象的所述至少一部分与参数表面之间的距离的信息；

-第三语法元素，与根据第二数据获得的至少一个纹理图相关；以及

-第四语法元素，与获取设备的位置相关。

根据具体特性，第一语法元素根据至少一个参数的变化而随时间变化，至少一个参数根据对象的至少一部分的变形而变化。

根据具体特性，第二数据包括纹理信息和表示深度的信息。

本公开还涉及一种根据携带表示所述对象的数据的流来渲染的对象的至少一部分的图像的方法，所述方法包括：

-根据所述流的第一语法元素获得表示参数表面的至少一个参数；

-根据所述流的第二语法元素获得高度图，所述高度图包括表示所述对象的所述至少一部分与参数表面之间的距离的信息；

-根据所述流的第三语法元素获得至少一个纹理图；

-根据参数表面、高度图和至少一个纹理图获得与表示所述对象的所述至少一部分的点云的点相关联的数据；

-根据所述流的第四语法元素基于所述数据和表示获取设备的位置的信息来渲染图像。