[发明专利]用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备

说明书

本发明涉及一种用于对表示多视图视频序列的编码数据信号进行解码的方法和设备，该多视图视频序列表示全向视频，该多视图视频序列至少包括第一视图和第二视图。从信号中读取(60)允许获得(61)表示从第二视图的平面到第一视图的平面的变换的单应矩阵的参数。第二视图的图像包括所谓的有效区域，该有效区域包括像素，当所述像素经由单应矩阵被投影到第一视图的图像上时，所述像素被包括在第一视图的图像中。通过生成(620)包括根据第一视图的图像中的先前重构的像素以及单应矩阵确定的像素值的参考图像来解码(62)第二视图的图像，并且对于第二视图的图像中的至少一个块，当所述块属于(622)所述有效区域时，所生成的参考图像被包括在所述参考图像列表中。根据由从数据信号读取(621)的索引指示的参考图像来重建(625)所述块。

技术领域

本发明涉及全向(omnidirectional)视频，诸如特别是360°、180°视频等。更特别地，本发明涉及对此类视频的编码和解码。

背景技术

360°视频由安装在球形平台上的相机来捕获。这些相机被称为是分散的，因为它们被放置成以便捕获所有方向上的场景。每个相机捕获场景的一部分，由各个相机捕获的所有视图(view)允许根据360°视场来生成表示该场景的视频。

因此，这样的360°视频允许用户观看场景，就像他被放在场景的中心一样，并允许以360°来环顾四周，从而提供一种观看视频的新方式。这样的视频通常在虚拟现实头盔(也被称为HMD，“头戴式设备(Head Mounted Devices)”)上再现。但是，它们也可以显示在配备有适用的用户交互装置的2D屏幕上。用于捕获360°场景的相机的数量取决于所使用的平台而不同。

但是，无论使用什么平台，两个相邻相机各自捕获场景的一部分，其中这两个相机捕获的数据中有重叠。换句话说，以360°捕获的场景中的一部分在两个视图之间是公共的，其中每个视图分别由两个相邻相机捕获。这在图1中图示，图1示出了两个视图：由第一相机捕获的视图1和由放置在第一相机右侧的第二相机捕获的视图2。在图1中，视图1中右侧的区域(以实线框起)对应于捕获场景中与视图2中左侧的区域(以实线框起)相同的部分。因此，在视图1和视图2之间存在场景数据的重叠。当用户遍历由360°视频提供的视场时，这样的重叠对于允许连续过渡是必需的。

为了生成360°视频，考虑到视图之间的重叠，将由不同相机捕获的分散视图端对端进行放置，以创建全景(panoramic)2D视图。该步骤也称为“拼接(stitching)”。例如，等矩形投影(ERP)是获得此类全景图像的可能投影。根据该投影，每个视图的图像被投影到球形表面上。其它类型的投影也是可能的，诸如立方体映射类型投影(在立方体的各面上的投影)之类。然后，将投影在表面上的图像投影到2D平面上以获得包括在给定时刻捕获的场景的所有视图的2D图像。

然后，借助常规的2D视频编码器，例如符合HEVC(“高效视频编码(HighEfficiency Video Coding)”的缩写)标准的编码器，对如此获得的2D图像进行编码。

该技术的主要缺点是，当将360°视频再现给用户时，可以通过围绕静态中心点旋转来改变视点，但是不能例如通过向左、向右、向前或向后移动几厘米来从该中心点进行移位。换句话说，为了改变视点，仅允许旋转，而排除任何其它移动，特别是平移。因此，这样的技术提供了3个自由度(3DoF，表示3Degree Of Freedom)，但是它没有提供根据6个自由度(6DoF)的自然移动。

该缺点更加令人烦恼的是，即使当用户仅执行旋转移动时，实际上也存在许多小的寄生性平移移动。这样的平移移动没有被正确地渲染，其后果是向用户显示与用户的大脑所预期的内容并不完美对应的像素。这是HMD型装备的用户感到不适的主要原因之一。