[发明专利]用于编码和解码虚拟现实内容的方法和装置

说明书

本发明提供了一种处理多媒体数据的方法，装置和计算机可读介质。多媒体数据包括具有至少第一轨道和第二轨道的分层轨道结构，使得第一轨道处于分层轨道结构中的第一层，而第二轨道处于位于第一轨道的第一层之上的分层轨道结构中的第二层。第一元数据包含在第一轨道内，第二元数据包含在第二轨道内。可以通过基于第一元数据和第二元数据对与第一轨道相关联的多媒体数据执行轨道导出操作来解码多媒体数据，以生成第二轨道的多媒体数据，使得第二轨道是第一轨道的导出轨道。依据本发明提供的处理多媒体数据的方法，装置和计算机可读介质，可改善编解码效率。

技术领域

本发明涉及视频编解码。具体而言，本发明涉及一种关联，存储和/或发信虚拟现实(virtual reality,VR)属性和/或元数据以及合成轨道导出(composition trackderivation)的方法和装置。

背景技术

存在各种类型的3D内容(3D content)和多方向内容(multi-directionalcontent)。例如，全向视频(omnidirectional video)是使用一组摄像机捕获的一种视频，而不是像传统单向视频那样只使用一台摄像机。例如，可以将摄像机放置在特定中心点周围，使得每个摄像机捕获场景的球形覆盖上的一部分视频以捕获360度视频。来自多个相机的视频可以被缝合，旋转，并被投影以生成表示球形内容的投影的二维图像。例如，可以使用相等的矩形投影将球形图放入二维图像中。例如，然后可以使用二维编码和压缩技术对其进行进一步处理。最终，使用期望的传送机制(例如，拇指驱动器(thumb drive)，数字视频光盘(digital video disk,DVD)，文件下载，数字广播和/或在线流传输)来存储和传送编码和压缩的内容。这种视频可以用于虚拟现实(VR)和/或3D视频。

在客户端，当客户端处理内容时，视频解码器对编码和压缩的视频进行解码并执行逆投影以将内容放回到球体上。然后，用户可以查看所呈现的内容，例如使用头戴式观看设备。内容通常根据用户的视口(viewport)进行渲染，该视口表示用户查看内容的角度。视口还可以包括表示观看区域的组件，其可以描述观看者在特定角度观看的区域的大小和形状。

当视频处理不是以视口相关的方式完成时，使得视频编码器和/或解码器不知道用户将实际观看什么，则整个编码，传递和解码过程将处理整个球形内容。例如，这可以允许用户在任何特定视口和/或区域观看内容，因为所有球形内容都被编码，传递和解码。

然而，处理所有球形内容可能是计算密集型的并且可能消耗大量带宽。例如，对于在线流媒体应用，处理所有球形内容会对网络带宽造成非必要的更大的负担。因此，当带宽资源和/或计算资源有限时，可能难以保持较好用户的体验。某些技术仅处理用户正在查看的内容。例如，如果用户正在观看顶部区域(例如，北极)，则不需要传送底部部分(例如，南极)的内容。如果用户更改视口，则可以相应地为新视口传递内容。作为另一示例，对于自由视点TV(free viewpoint TV,FTV)应用(例如，使用多个相机捕获场景的视频)，可以根据用户正在观看场景的角度来传送内容。例如，如果用户正在从一个视口(例如，相机和/或相邻相机)查看内容，则可能不需要为其他视口传送内容。

发明内容

根据本发明的实施方式，提供一种用于关联，存储和/或发信虚拟现实(virtualreality,VR)属性和/或元数据以及轨道合成的装置，系统和方法。

依据本发明的一实施方式，提供一种用于解码视频数据的解码方法。该方法包括接收包括分层轨道结构的多媒体数据，该分层轨道结构包括至少第一轨道和第二轨道，其中第一轨道在分层轨道结构中处于第一层，并且第二轨道处于分层轨道中在第一轨道的第一层之上的第二层结构。该方法包括确定包含在第一轨道内的第一元数据和包含在第二轨道内的第二元数据。该方法包括解码多媒体数据，包括：基于第一元数据和第二元数据，对与第一轨道相关联的媒体数据执行轨道导出操作，以生成第二轨道的媒体数据，使得第二轨道是第一轨道的导出轨道。