[发明专利]预拼接图像的视频编码方法、视频解码方法和相关的装置

说明书

本发明公开一种预拼接图像的视频编码方法、视频解码方法和相关的装置。预拼接图像的视频编码方法，用于视频编码系统，其中每个预拼接图像由全景视频捕获设备的两个摄相机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，所述方法包括：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。本发明所提供的预拼接图像的视频编码方法、视频解码方法和相关的装置，能够提高视频压缩技术的效率。

技术领域

本发明涉及视频编码。具体来说，本发明涉及从全景视频捕获设备的多个摄像机生成的预拼接图像的视频压缩技术。

背景技术

360度视频，也称为沉浸式视频(immersive video)，是一种新兴的技术，它能提供“身临其境的感觉(feeling as sensation of present)”。通过围绕用户覆盖全景(panoramic view)的环绕场景，特别是360度视野，使用户获得沉浸感。“身临其境的感觉”可以进一步通过立体渲染来提高。因此，全景视频被广泛应用于虚拟现实(VirtualReality，VR)应用中。

沉浸式视频涉及使用多个摄像机来捕获一个场景，以覆盖全景，例如360度视野。沉浸式摄像机通常使用一组摄像机，用于捕获360度视野。该组摄像机可以由少至一个摄相机组成。然而，通常两个或更多个摄相机用于沉浸式摄相机。必须同时拍摄所有视频，并记录该场景的单独的片段(也称为单独视角)。此外，该组摄相机通常被布置成水平地捕获视图，而相机的其他布置也是可能的。

必须校准该组摄像机以避免可能的未对准(misalignment)。校准是校正透镜失真并描述世界坐标和摄像机坐标之间的变换的处理。校准处理是必要的，以允许正确拼接视频。为了创建一个360度的视频，必须拼接各个视频录像。图像拼接在本领域中已得到完整的研究，包括混合(blending)或接缝(seam)处理。

图1为与给定时间实例相对应的来自全景视频的图像的示例。全景视频使用四台摄像机进行拍摄，每台摄像机的主轴相对于相邻摄像机旋转约90度。四个非拼接图像(non-stitched image)的集合110来自四个摄像机的四个图像(112,114,116和118)。每个摄像机覆盖非常宽的视野(即，使用广角镜头)，使得来自相邻摄像机的图像具有实质的重叠区域。然后将在给定情况下对应于全景视频的图像集合拼接以形成预拼接图像(pre-stitchedpicture)120。预拼接图像120是在进入视频压缩系统以进行后续压缩之前被拼接的。

对于全景视频，特别是360度视频，可以使用多个摄像机来捕获多个视频。为了渲染全虚拟现实环境所需的数据，需要大量的带宽或存储空间。随着视频分辨率的不断增加，所需的带宽或存储空间变得非常大。因此，期望开发用于360度视频(特别是预先拼接的全景视频)的高效视频压缩技术。

发明内容

有鉴于此，本发明提供一种预拼接图像的视频编码方法、视频解码方法和相关的装置。

依据本发明一实施方式，提供一种预拼接图像的视频编码方法，用于视频编码系统，其中每个预拼接图像由全景视频捕获设备的两个摄相机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，所述方法包括：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。