[发明专利]用于将VR 360视频下发给远程终端用户的可缩放FOV+

说明书

一种用于将虚拟现实(virtual reality，简称VR)数据的选择的视口流下发给多个客户端设备中的每个客户端设备的分发设备，包括处理单元，用于：接收VR视频文件的多个扩展视口流，其中，每个扩展视口流包括扩展视场(extended field of view，简称EFOV)帧序列，所述扩展视场帧是为构成所述VR视频文件中定义的球体的多个重叠段中各自的重叠段创建的；在多次迭代中的每次迭代中，通过为所述客户端设备中的每个客户端设备执行以下操作，将所述多个扩展视口流中选择的一个扩展视口流下发给所述多个客户端设备中的每个客户端设备：(1)接收各自的所述客户端设备的当前方位数据；(2)根据所述当前方位数据，从所述多个扩展视口流中选择一个；(3)将所述选择的扩展视口流传输给各自的所述客户端设备。

相关申请案交叉申请

本申请要求于2017年12月22日提交申请号为PCT/EP2017/084477、发明名称为“为远程终端用户采用VR 360视频”的国际专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域和背景技术

本发明的一些实施例涉及将虚拟现实(Virtual Reality，简称VR)360视频内容流式传输到客户端设备，更具体地但不限于将低时延、高分辨率和高吞吐量VR 360视频内容流式传输到大量客户端设备。

VR 360视频内容，即，360度视频、沉浸式视频或球形视频的消费不断增加。这可能是由于传统设备能力方面的快速进步，例如，台式计算机、膝上型计算机、智能手机和/或平板电脑等具有支持2维(2Dimensions，简称2D)呈现的显示器(屏幕)等，即，一幅图像指向两眼的一种单眼呈现。然而，所述VR 360视频内容消费增加的主要驱动力可以是头戴式显示器(Head Mounted Display，简称HMD)、立体护目镜和/或支持3D(3Dimensions，简称 3D)呈现的设备等VR 360客户端设备的可用性提高和成本降低，3D呈现即两个不同的图像分别指向每只眼睛以获得3D效果的一种立体呈现。此外，对更佳用户体验的持续需求，需要高分辨率图像大小(例如，8K、16K)、高帧率(例如，60fps、90fps)和低运动到光子(Motion toPhoton，简称MTP)时延(例如，低于20毫秒)。

因此，亟需一种线流式传输此类VR 360视频内容的方案，因为对于从游戏应用、培训和模拟应用到救生医疗应用和/或防御应用等多种应用，此类流式传输方案的市场潜力实际上是无穷无尽的。

发明内容

本发明的第一方面提供了一种用于生成虚拟现实(virtual reality，简称VR)数据的多个扩展视口(extended viewport，简称EVP)流，以下发给多个客户端设备的编码装置，包括处理单元，用于：

-将投影为等距柱状投影(equirectangular projection，简称ERP)格式的VR视频文件中定义的球体分割成多个重叠段；

-在多次迭代中的每次迭代中，通过执行以下操作为所述VR视频文件创建多个EVP流：

■旋转所述球体的多个重叠段中的每个重叠段；

■从所述球体的所述多个旋转重叠段中的每个旋转重叠段裁剪各自的扩展视场(extended field of view，简称EFOV)帧；

■指示网络将所述多个旋转重叠段中的每个旋转重叠段各自的EFOV帧传输给一个或多个分发设备。

本发明的第二方面，提供了一种用于生成VR数据的多个扩展视口(extendedviewport，简称EVP)流，以下发给多个客户端设备的方法，包括：操作编码装置中的处理单元以执行以下操作：

-将投影为等距柱状投影(equirectangular projection，简称ERP)格式的VR视频文件中定义的球体分割成多个重叠段；