[发明专利]用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法

说明书

一种视频处理方法，包括：从球体的全向内容中获取多个投影面，其中，球体的全向内容通过立方体投影映射到该多个投影面上，该多个投影面包括第一投影面；通过重采样电路，使用非均匀映射对第一投影面的至少一部分进行重采样，获得第一重采样投影面；根据立方体投影的投影布局生成基于投影的帧，其中基于投影的帧包括封装在投影布局中的第一重采样投影面；并对基于投影的帧进行编码以生成比特流的一部分。

相关申请的交叉引用

本申请是在2008年12月3日提交的第15/917,844号的美国专利申请的部分延续申请，并要求在2017年9月27日提交的第62/563,787号的美国临时申请，在2017年11月8日提交的第62/583,078号的美国临时申请，和在2017年11月9日提交的第62/583,573号的美国临时申请的优先权，其中第15/917,844号的美国专利申请要求在2017年3月13日提交的第62/470,425号的美国临时申请的优先权。

相关申请的全部内容，包括第15/917,844号的美国专利申请，第62/563,787号的美国临时申请，第62/583,078号的美国临时申请，第62/583,573号的美国临时申请和第62/470,425号的美国临时申请，在此合并参考上述申请案的申请标的。

技术领域

本发明有关于处理全向图像/视频内容。更具体地，本发明涉及一种用于处理基于投影的帧的方法，该基于投影的帧包括至少一个封装在360度虚拟现实(360-degreevirtual reality，360VR)投影布局中的投影面。

背景技术

具有头戴式显示器(head-mounted displays，HMDs)的虚拟现实(VR)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。必须在所有方向上捕获真实世界环境，从而产生对应于球体的全向图像/视频内容。随着摄像机装备和HMDs的进步，由于表示这种360度图像/视频内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，资料压缩/编码对于降低比特率至关重要。

通常，对应于球体的全向图像/视频内容被转换为图像序列，每个图像是基于投影的帧，其具有由在360度虚拟现实(360VR)投影布局中排列的一个或多个投影面表示的360度图像/视频内容，然后基于投影的帧的序列被编码成比特流以进行传输。基于投影的帧在布局边界和/或面边界处可能具有图像内容不连续性。因此在压缩之后，布局边界和/或面边界周围的图像质量可能较差。此外，通过解码的基于投影的帧的投影布局转换可能引入伪影，从而导致转换的基于投影的帧的图像质量劣化。

发明内容

本发明的目的之一是提供一种用于处理基于投影的帧的方法，该基于投影的帧包括封装在360度虚拟现实(360VR)投影布局中的至少一个投影面。

根据本发明的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：从球体的全向内容获得多个投影面，其中球体的全向内容通过立方体投影被映射到投影面上，并且该多个投影面包括第一投影面；通过重采样电路，通过非均匀映射对第一投影面的至少一部分进行重采样，获得第一重采样投影面，其中第一投影面具有第一源区域和第二源区域，第一重采样投影面具有第一重采样区域和第二重采样区域，第一重采样区域是从第一源区域以第一采样密度进行重采样得到的，第二重采样区域是从第二源区域以第二重采样密度进行重采样得到的，第一采样密度不同于第二采样密度；根据立方体投影的投影布局生成基于投影的帧，其中基于投影的帧包括封装在投影布局中的第一重采样投影面；以及对基于投影的帧进行编码以生成比特流的一部分。