[发明专利]用于将虚拟现实图像映射成分段球面投影格式的方法以及装置

说明书

本发明公开了与分段球面投影(SSP)有关的处理球面图像的方法及装置。根据一个方法，使用从包括等面积映射、非均匀映射以及立方体贴图映射的映射组中选择的映射进程，将所述球面图像的北极区域投影成第一圆形区域以及将所述球面图像的南极区域投影成第二圆形区域。本发明也公开了与旋转的球面投影(RSP)有关的处理球面图像的方法以及装置。根据这一方法，使用等面积映射将所述球面图像投影成对应于所述球面图像的一区域的第一部分旋转的球面投影以及对应于所述球面图像的剩余部分的第二部分旋转的球面映射。

相关引用

本发明要求递交于2017年4月27日，号码为62/490,647的美国临时专利申请案的优先权，该美国临时专利申请案整体通过引用纳入其中。

技术领域

本发明涉及360°虚拟现实图像，具体地，本发明涉及将360°虚拟现实图像映射成分段球面投影(segmented sphere projection，简称SSP)格式、旋转的球面投影(rotatedsphere projection，简称RSP)格式或者修正的立方体贴图投影 (cubemap projection，简称CMP)格式。

背景技术

360°视频，又称为沉浸式视频(immersive video)，是一种新兴技术，其可以提供“如现场般的感受”。沉浸式的感受可以通过用覆盖全景视野(panoramic view) 的环绕式的场景来环绕用户来实现，具体地，全景视野可以是360°视场(field of view)。“如现场般的感受”可以进一步由立体渲染来提高。因此，全景视频 (panoramic video)正在普遍地用于虚拟现实应用中。

沉浸式视频涉及使用多个摄像机捕获场景来覆盖全景视野，例如360°视场(field of view)。沉浸式摄像机通常使用全景摄像机或一组摄像机来捕获360°视场。典型地，两个或多个摄像机被用作沉浸式摄像机。所有视频必须被同时拍摄并记录场景的多个分离片段(fragments)(也称为分离视角(perspectives))。进一步地，该组摄像机通常用于水平地捕获多个视图，而所述多个摄像机的其他安排也是可能的。

可以使用360°球面全景摄像机来捕获多个360°虚拟现实图像或者多个图像用于覆盖360°环绕的多个视场。三维(3D)球面图像难以使用传统的图像/视频处理装置进行处理或存储，因此，360°VR图像通常使用3D至2D投影方法来转换成二维(2D)格式，例如等矩形(ERP)以及立方体投影是已经普遍地使用的投影方法。对于ERP投影，球体北极(northpole)以及南极(south pole)中的区域相比于赤道附近的区域被更剧烈地拉伸(也就是从一单个点变成一条线)。而且，由于拉伸所引入的失真，尤其是两极附近，预测编码工具通常难以做到好的预测，造成在编码效率上的降低。

为了克服与该ERP格式有关的在北极以及南极的严重失真，已经在JVET- E0025(2017年1月12-22日，瑞士日内瓦举行的ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG11的联合视频开发小组(JVET)第5次会议，Zhang等人“AHG8： Segmented SphereProjection for 360-degree video”，文献：JVET-E0025)中公开了分段球面投影来作为将球面图像转换成SSP格式的方法。图1A示出了分段球面投影的示例，其中球面图像100被映射成北极图像110、南极图像120以及赤道分段图像130。3个分段的边界对应于北纬45°(102)以及南纬45°(104)，其中，0°对应于赤道。北极以及南极被映射成两个圆形区域(110以及120)，以及赤道分段的投影与ERP相同。因为极区分段以及赤道分段两者都有90°纬度的跨度，圆形的直径等于赤道分段的宽度。