[发明专利]处理全向视频的方法、装置以及存储介质

说明书

本申请涉及处理全向视频的方法、装置以及存储介质。所述全向视频与3D坐标系关联，该3D坐标系用于确定弯曲表面(优选地为球形)上的所述全向视频的视频数据的空间位置，所述方法包括：接收清单文件，清单文件包含用于识别多个层块流的多个层块流标识符，层块流包含具有图像视图的视频帧，由此不同层块流的视频帧的图像视图覆盖全向视频的2D投影的不同区域，区域定义层块；基于清单文件中的空间关系信息并且基于客户端装置的用户的视点来选择与第一分辨率和第一层块位置关联的第一层块流以及与第二分辨率和第二层块位置关联的第二层块流，第二分辨率低于第一分辨率，其中空间关系信息对每个层块定义层块位置，并且其中视点定义用户的查看方向，层块位置和视点基于3D坐标系的坐标来定义。

技术领域

本发明涉及空间平铺全向视频流播，以及非排他地具体来说涉及用于流播空间平铺全向视频的方法和系统、适合于处理空间平铺全向视频的客户端装置、用于实现空间平铺全向视频到客户端装置的流播的数据结构以及用于运行这类方法的计算机程序产品。

背景技术

照相装置和图像处理技术方面的进步不仅实现通过越来越高分辨率的记录，而且还将多个照相装置的输出拼接在一起。这样，一组照相装置能够以高于8K×4K的分辨率通过全360度进行记录。这种视频可称作全向视频。

全向视频提供新用户体验，例如虚拟现实(VR)和增强现实(AR)，其当前在行业中有增加势头。但是，流播高质量VR内容仍然造成难题，包括高带宽要求，其是流播高质量全向视频并且在比特流中表示球面内容所需的。

实际上，可用带宽将是效率与用户体验之间的折衷。另一方面，需要以高质量并且同时以最小等待时间为用户提供他们所关注的视点。这是很难满足的目标，因为虽然视点在空间上受到限制，但是用户可在360度流内持续改变其视点，并且从一个视点到另一视点的转变应当是平滑的。

全向视频(其本质上是球面的)在进行编码以便与现代视频编码标准进行接口之前被映射到一个或多个平面上。当前不存在比特流中表示球面视频的标准方式，并且因为不同球形-平面映射是可能的，所以互通性成为问题。

近来，Facebook提出一种专有编码技术，其允许针对全向视频内容的带宽问题的降低。在这种技术中，全向视频被映射到金字塔，其中金字塔的基础表示与观众的中心FOV相关的高分辨率视频，并且金字塔的侧面用于观众的侧面和背面的视频信息。金字塔的侧面的视频信息配置成使得分辨率从中心FOV的边缘朝观众的背面逐渐降低。这种编码技术允许文件大小的充分减小，并且因而改进流播全向视频的带宽问题。

但是，Facebook技术是一种专有解决方案，其在编码级实现，并且因而在互通性方面不是很灵活。该解决方案基于硬编码金字塔映射技术，其没有为可提供更进一步改进或者可用于特殊应用的另外的(其他)映射技术提供空间。另外，Facebook所提出的特殊编码技术与常规现有技术编码技术(例如HEVC和VP9)不兼容。

因此，通过以上所述推断，常规基于平铺的流播方案不适合于提供用于流播全向视频数据的有效灵活框架。

发明内容

如本领域的技术人员将会理解，本发明的方面可作为系统、方法或计算机程序产品来实施。相应地，本发明的方面可采取全硬件实施例、全软件实施例(包括固件、常驻软件、微码等)或者结合软件和硬件方面的实施例的形式，它们在本文可一般称作“电路”、“模块”或“系统”。本公开所述的功能可实现为计算机的微处理器所运行的算法。此外，本发明的方面可采取一个或多个计算机可读介质中包含的计算机程序产品的形式，其上包含(例如存储)计算机可读程序代码。