[发明专利]对沉浸式视频进行格式化的方法、装置和流

说明书

本公开涉及用于生成、传送和解码向后兼容的沉浸式视频流的方法、装置或系统。流承载表示沉浸式视频的数据、由根据布局而组织的包括根据矩形映射而编码的第一区域、根据从矩形映射到沉浸式映射的映射过渡而编码的第二区域以及根据沉浸式映射而编码的第三区域的帧构成。为了向后兼容，流进一步包括：表示视频帧内的第一区域的尺寸和位置的第一信息，以及至少包括所选择的布局的类型、第一部分的视场、视频帧内的所述第二区域的尺寸和参考方向的第二信息。

技术领域

本公开涉及以下领域：例如当表示沉浸式视频的向后兼容的流被分发到异质集合的客户端设备——一些客户端设备被配置为显示传统矩形视频并且一些其它客户端设备被配置为显示沉浸式视频时，对此类流进行格式化。

背景技术

视频是至少一个图像的序列。实际上，图像可以被考虑为静止视频。在作为像素的二维阵列(即，色彩信息的元素)的矩形帧上对视频进行编码。按序列的每一图像对一个帧进行编码。根据映射函数对图像进行编码。根据矩形映射对意图要被显示在矩形屏幕上的传统视频进行编码。沉浸式视频意图要被呈现在观看者周围，即，观看者不能看见全部画面，而是不得不旋转他的/她的头部(或移动或使用控制器——例如控制杆或鼠标)以看见他的/她的视场之外的图像的各部分。当沉浸式视频在矩形帧上被编码时，其要求沉浸式映射函数，例如，等距长方(equirectangular)映射、立方体映射或椎体映射。

根据视频意图要被呈现在其上的呈现设备的类型来准备和格式化视频流。传统视频呈现设备不适当地显示沉浸式视频，因为它们被配置为仅仅根据矩形映射对视频帧进行解码。相互地，沉浸式视频呈现设备不适当地显示传统视频，因为它们期望根据沉浸式投影编码的帧。缺乏可以被传统视频呈现设备和沉浸式视频呈现设备两者适当地显示的用于向后兼容的沉浸式视频流的格式。

发明内容

本公开的目的是克服缺乏可以被传统视频呈现设备和沉浸式视频呈现设备两者适当地显示的用于向后兼容的沉浸式视频流的格式。本公开涉及一种从视频流构成用于呈现设备的视频帧的方法，该方法包括：

-从视频流获取源视频帧，

-从视频流获取第一信息，所述第一信息表示所述源视频帧的第一区域的尺寸和位置，

-当呈现设备是传统视频呈现设备时，利用源视频帧的所述第一区域构成所述视频帧；

-当呈现设备是沉浸式视频呈现设备时：

·从视频流获取第二信息，所述第二信息表示布局的类型、所述第一部分的视场、第二区域的尺寸以及参考方向，

·根据所述第一信息和第二信息并且使用所述源视频帧来构建映射的表面，

·利用捕获所述映射的表面的一部分的至少一个虚拟照相机来构成视频帧。

根据特定特性，布局基于属于包括以下的沉浸式映射集合的沉浸式映射：等距长方映射、立方体映射和椎体映射。

根据特定实施例，根据高效视频编码(HEVC)对流进行解码，其中，通过一致性窗口参数来承载第一信息，并且其中，通过补充增强信息(SEI)来承载第二信息。

本公开还涉及一种被配置为从视频流构成用于呈现设备的视频帧的装置，该装置包括：

-用于从视频流获取源视频帧的部件，

-用于从视频流获取第一信息的部件，所述第一信息表示所述源视频帧的第一区域的尺寸和位置，

-当呈现设备是传统视频呈现设备时，被配置为利用源视频帧的所述第一区域构成所述视频帧的处理器；

-当呈现设备是沉浸式视频呈现设备时：

·用于从视频流获取第二信息的部件，所述第二信息表示布局的类型、所述第一部分的视场、第二区域的尺寸以及参考方向，