[发明专利]视频处理方法及装置

说明书

一种视频处理方法，包括：接收虚拟现实(VR)内容；从VR内容获得图像；对图像进行编码以生成部分编码比特流；以及将部分编码比特流封装为ISO基础媒体文件格式(ISO Base Media File Format，ISOBMFF)文件。在一个示范性实例中，ISOBMFF文件可以包括转换属性项目，该转换属性项目被设置为启用轨迹推导中的投影转换、封包转换、VR视口选择以及VR感兴趣区域(ROI)选择中的至少一个。在另一示范性实例中，ISOBMFF文件可包括与视口的方向相关联的第一参数、第二参数和第三参数。其中第一参数、第二参数和第三参数分别指示视口中心的偏航角、俯仰角和翻滚角。此外，提供了相关联的视频处理装置。

交叉申请

本申请主张于2017年3月24日提交的美国临时申请号62/475,944、于2017年3月27日提交的美国临时申请号62/476,939、以及于2017年 3月29日提交的美国临时申请号62/478,062之权利。上述申请之整体内容，包含美国临时申请号62/475,944、美国临时申请号62/476,939、美国临时申请号62/478,062，以引用方式并入本文中。

技术领域

本发明涉及虚拟现实(Virtual reality，VR)内容的处理，且更具体而言，涉及一种用于在ISO基础媒体文件格式推导VR投影、填充(映像)、ROI以及视口相关轨迹，并支持视口滚动信号的方法及装置。

背景技术

虚拟现实(VR)最近主要由于诸如头戴式显示器(HMD)的消费设备的近期市场可用性而获得显著关注。使用头戴式显示(HMD)的虚拟现实(VR)有各种应用方式。其将广阔的视野内容呈现给使用者的能力可用于提供身临其境的视觉体验。若要取得对应至一个球体的全方位VR 内容，必须补捉真实世界环境所有方向的信息。随着相机及头戴式显示设备的进步，由于重现此种360度内容所需的比特率很高，全方位虚拟现实内容的传送可能即将成为技术发展的瓶颈。

近年来举办了大量的围绕在虚拟现实周遭的活动，而大型产业的参与也证明了这一点。举例而言，由于预期使用虚拟现实头戴式显示设备的消费者日益普及将导致对虚拟现实内容的需求增加，各公司也开始开发全方位相机来进行360°内容的捕捉。然而，缺乏适当的标准并因而降低了互操作性正逐渐成为问题。因此，动画专家小组(MPEG)展开了名为全方位媒体应用格式(Omnidirectional Media Application Format， OMAF)的项目，旨在标准化360°影音内容的储存和传送格式。在OMAF 的上下文中，储存和传送格式的基于ISO基础媒体文件格式(ISO base media file format，ISOBMFF)。然而，关于VR内容储存和传送的开发标准，仍有很大的改进空间。

发明内容

本发明要求保护的目的之一，是提供一种用于在ISO基础媒体文件格式导入VR投影、填充(映像)、ROI以及视口相关轨迹，并支持视口滚动信号的方法及装置。

本发明的第一方面揭露了一种范例性的视频处理方法。此范例性视频处理方法包括：接收虚拟现实(VR)内容；从VR内容获取影像；将影像编码以生成编码比特流的一部分；以及通过文件封装电路将部分编码后的比特流封装到至少一ISO基础媒体文件格式(ISOBMFF)的文件，其中，该至少一ISOBMFF文件包含指示用轨迹推导来从至少一视觉轨迹取得衍生轨迹(derived track)的转换属性项目，而该转换属性项目被设置为得以启用轨迹推导中至少一投影转换、封包转换、VR视口选择或一 VR感兴趣区域(region ofinterest)选择。

本发明的第二方面揭露了一种范例性的视频处理方法。范例性的视频处理方法包括：接收虚拟现实(VR)内容；从VR内容获取影像；编码该影像以生成编码后的比特流；以及通过文件封装电路将部分编码后之比特流封装到至少一ISO基础媒体文件格式(ISOBMFF)的文件，其中，该至少一ISOBMFF文件包含与视口方向有关的第一参数、第二参数与第三参数，第一参数、第二参数与第三参数分别指示视口中心的偏航角、俯仰角和翻滚角。