[发明专利]用于流传输和渲染的球形视频的转换和预处理

说明书

在一个实施例中，一种方法接收视频的球形内容并从球形内容生成面图像以表示视频中的图像。生成面图像的二维片材。减小面图像的尺寸，并且在片材上添加围绕所述多个面图像中的每一个面图像的像素帧。而且，在片材上相邻的面图像的边缘之间添加多个间隙。然后，该方法在所述多个间隙中添加间隙内容，其中间隙内容基于邻近所述多个间隙的区域中的内容。该方法对片材上的面图像、像素帧和间隙内容进行编码，并将经编码的片材发送到解码器。解码面图像以放置在物体结构上，以显示球形内容。

相关申请的交叉引用

本申请要求于2017年3月21日提交的标题为“Conversion and Pre-Processingof Spherical Video for Streaming and Rendering”的美国非临时申请No.15/464,883的权益和优先权，该申请要求于2016年3月21日提交的标题为“Conversion Pre-Processing to Optimize 360 Degree Spherical Video for Streaming and Display”的美国临时申请No.62/311,263的优先权，这两个申请的内容都通过引用整体上并入本文。

背景技术

将360度虚拟现实(VR)内容编码成经典的矩形二维(2D)图像的常用格式是使用“等距长方圆柱(equirectangular)”格式。与制图中使用的经典地图投影类似，等距长方圆柱格式旨在通过在2D图像的矩形表面上给予球形(spherical)的所有区域相似的面积来尽可能准确地表示来自球形的表面的数据。

结果所得的2D图像以具有严重扭曲的直线的原始内容为特征，其可以类似于极端广角照片中的扭曲线。可以在观看时将扭曲的线解码为未扭曲的三维(3D)图像；但是，当编码作为视频的一部分的图像时，扭曲的线给出了特别的困难。例如，图像的扭曲性质导致需要增加的数据来以给定的质量表示编码格式的视频。所需的附加数据增加了需要被编码的数据，这使用更多的带宽，从而使得以可接受的流传输带宽为虚拟现实体验提供视频成为挑战。另外，当虚拟现实体验是立体的(例如，每只眼睛有单独的图像)时，问题会恶化，因为需要编码和发送针对每只眼睛的图像数据。

附图说明

图1描绘了根据一个实施例的用于提供虚拟现实内容的简化系统。

图2A描绘了根据一个实施例的用于预处理球形内容的方法的简化流程图。

图2B示出了根据一个实施例的片材的示例。

图3A描绘了根据一个实施例的用于将面图像放置在片材200上的方法的简化流程图。

图3B示出了根据一个实施例的片材上的间隙的示例。

图3C描绘了根据一个实施例的将像素线添加到当前面图像的示例。

图4描绘了根据一个实施例的用于对编码视频流进行解码的方法的简化流程图。

图5描绘了根据一个实施例的用于直接从2D图像在立方体结构上显示球形内容的方法的简化流程图。

图6示出了根据一个实施例的分别针对两只眼睛的两张片材的示例。

图7描绘了根据一个实施例的经由一个或多个通信网络与多个客户端设备通信的视频流传输系统。

图8描绘了用于观看视频内容和广告的装置的示意图。

具体实施方式

本文描述的是用于视频处理系统的技术。在以下描述中，出于解释的目的，阐述了许多示例和具体细节，以便提供对特定实施例的透彻理解。由权利要求限定的特定实施例可以单独包括这些示例中的一些或全部特征，或者与下面描述的其它特征组合，并且还可以包括本文描述的特征和概念的修改和等同物。