[发明专利]沉浸式媒体的多图集封装

说明书

公开了在媒体文件中提供容积视频数据的灵活封装的方法、装置和系统。在一个示例方面，一种用于视频处理的方法包括：接收三维(3D)容积视频数据，并且将该三维容积视频数据编码成媒体文件。该3D容积视频数据对应于一个或多个图集，每个图集包括图集数据和一个或多个二维(2D)组件。该图集数据和一个或多个二维组件被存储在媒体文件中的一个或多个媒体轨道中。

技术领域

本专利申请总体上针对视频处理。

背景技术

用户喜欢以他们在现实生活中看到的方式体验内容。随着技术的进步，沉浸式媒体带来比以往任何时候都更加真实的内容。沉浸式媒体包括由新兴技术平台驱动的诸如360度图像和视频、虚拟现实(VR)、增强现实(AR)、混合现实(MR)以及可穿戴设备和物联网(IoT)之类的非传统格式。

发明内容

本专利申请尤其描述了可以被实施以在媒体文件中提供容积视频数据的灵活封装的技术。

在一个示例方面，一种用于视频处理的方法包括：接收三维(3D)容积视频数据，并且将该三维容积视频数据编码成媒体文件。该3D容积视频数据对应于一个或多个图集，每个图集包括图集数据和一个或多个二维(2D)组件。该图集数据和一个或多个2D组件被存储在媒体文件中的一个或多个媒体轨道中。

在另一个示例方面，一种用于视频处理的方法包括：解码表示三维(3D)容积视频数据的媒体文件，并且基于一个或多个媒体轨道中的至少一个媒体轨道，重建3D容积视频数据。该3D容积视频数据对应于一个或多个图集，每个图集包括图集数据和一个或多个二维(2D)组件。该图集数据和一个或多个2D组件被存储在媒体文件中的一个或多个媒体轨道中。

在另一个示例方面，公开了一种通信装置。该装置包括处理器，其被配置为实施上述方法。

在又一个示例方面，公开了一种计算机程序存储介质。该计算机程序存储介质包括存储于其上的代码。在由处理器执行时，该代码使得处理器实施所描述的方法。

在又一个示例方面，公开了一种计算机程序存储介质。该计算机程序存储介质存储根据本文描述的方法生成的媒体文件。

本申请中描述了这些和其它方面。

附图说明

图1示出了媒体文件的示例结构。

图2示出了媒体文件的另一示例结构。

图3示出了根据本技术的用于容积视频数据的示例编码和解码过程。

图4示出了根据本技术的可以被用于实施编码器侧或解码器侧模块的示例装置。

图5是根据本技术的用于视频编码的方法的流程图表示。

图6是根据本技术的用于视频编码的另一种方法的流程图表示。

图7示出了根据本技术的媒体文件的示例封装结构。

图8示出了根据本技术的媒体文件的示例封装结构。

图9示出了根据本技术的媒体文件的示例封装结构。

具体实施方式

在本申请中，章节标题仅被用于提高可读性，而不是将每个章节中所公开的实施例和技术的范围仅限于该章节。所公开的技术适用于各种成像和/或视频标准，包括但不限于基于标准化组织(ISO)/国际电工委员会(IEC)的媒体文件格式标准。

沉浸式媒体是指利用诸如音频和视频之类的多媒体技术，来给用户沉浸式的和完全不同的媒体体验。在观看沉浸式媒体内容时，用户可以实时参与媒体(例如，通过佩戴虚拟现实耳机)。沉浸式媒体已成功扩展到诸如电影、游戏、新闻和/或医疗之类的许多领域。沉浸式媒体内容不同于传统的媒体内容：视觉内容是典型的360度全景视觉数据，其覆盖了大的图像区域和宽广的视野，为用户提供了基于他们自己的喜好调整内容的更多灵活性。