[发明专利]生成基于投影的帧的方法以及装置

说明书

根据全景视频帧以及八面体投影布局生成基于投影的帧，所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，观察球的360°图像内容通过所述观察球的八面体投影被映射到所述多个三角形投影面。第一三角形投影面的一边与第二三角形投影面的一边接触，第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的一边与所述第二三角形投影面的一边存在图像内容连续性边界，以及在所述第三三角形投影面的所述一边以及所述第二三角形投影面的所述另一边存在另一个图像内容连续性边界。

相关引用

本发明要求递交于2016年10月7日，号码为62/405,290的美国临时申请，递交于2016年12月7日，号码为62/430,968的临时申请的优先权。相关申请的全部内容包括号码为62/405,290以及号码为62/430,968的美国临时申请，通过引用纳入本申请中。

背景技术

本发明涉及处理全景视频帧，尤其涉及用于生成具有360°图像/视频内容的基于投影的帧(projection-based frame)的方法及装置，其中所述360°图像/视频内容由组合在八面体投影(octahedron projection，简称OHP)布局中的多个三角形投影面表示。

具有多个头戴式显示器(head-mounted displays，简称HMDs)的虚拟现实(VR)与各种各样的应用相关联，其向使用者提供宽视场内容(wide field of view content)的能力可以用来提供沉浸式的视觉体验(immersive visual experiences)。必须在所有方向上捕获真实世界环境以生成对应于观察球(viewing sphere)的全景视频(omnidirectionalvideo)。随着多个相机平台(camera rig)和多个HMD的发展，由于展示如360°图像内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高的时候，数据压缩/编码对比特率的减小是关键的。

通常，对应于观察球的全景视频被转换成具有由排列在360°虚拟现实(360VR)投影布局的多个投影面所表示的360°图像内容的基于投影的帧，然后将基于投影的帧编码成比特流用于传输。然而，如果所采用的360VR投影布局设计不合理，基于投影的帧可能会具有因多个投影面的组合而产生图像内容不连续性边界(image content discontinuityboundary)，由于图像内容不连续性边界，编码/解码的质量可能会降低。

发明内容

本发明目的之一是提供一种用于生成具有360°图像/视频内容的基于投影的帧的方法及装置，实施360°图像/视频内容由组合在八面体投影布局中的多个三角形投影面表示。由于八面体投影布局的合理设计，可减少因组合多个三角形投影面而导致的图像内容不连续性边界的数量。

根据本发明的第一方面，公开了一种示例性生成基于投影的帧的方法，所述示例性方法包括：接收对应于观察球的全景视频帧，并且根据所述全景视频帧以及八面体投影布局生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面。组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的所述一边以及所述第二三角形投影面的所述一边之间有图像内容连续性边界，以及在所述第三三角形投影面的所述一边与所述第二三角形投影面的所述另一边之间有图像内容连续性边界。