[发明专利]处理立方体面图像的方法和装置

说明书

本发明公开一种处理立方体面图像的方法和装置。所述方法包括：接收从360度全景视频序列中的球面图像转换的六个立方体面的集合，其中六个立方体面的每个集合对应于投影到立方体上用于渲染360度虚拟现实的一个球面图像；根据选择的立方体面格式将所述六个立方体面的每个集合收集成一个组合立方体帧；确定每个所述组合立方体帧内的一个或多个不连续边界；以及根据与所述一个或多个不连续边界相关的信息来处理所述组合立方体帧，其中所述处理所述组合立方体帧的步骤包括：当使能滤波处理时，在每个所述组合立方体帧内的所述一个或多个不连续边界处跳过所述滤波处理。本发明所公开的处理立方体面图像的方法和装置，可以改善在边界处滤波导致的伪影问题，并提高编码效率。

技术领域

本发明有关于图像和视频编码。特别地，本发明有关于从360度全景视频转换的立方体面帧(cubic-face frames)的选择性滤波(selective filtering)技术。

背景技术

360度视频(也称为沉浸式视频)是一种新兴技术，其可以提供“身临其境的感觉”。通过围绕用户覆盖全景(panoramic view)的环绕场景，特别是360度视野，使用户获得沉浸感。“身临其境的感觉”可以进一步通过立体渲染来提高。因此，全景视频被广泛应用于虚拟现实(Virtual Reality，VR)应用中。

沉浸式视频涉及使用多个相机来捕获一个场景，以覆盖全景，例如360度视野。沉浸式相机通常使用一组相机，用于捕获360度视野。通常，沉浸式相机使用两个或多个相机。必须同时拍摄所有视频，并记录场景的各个分离片段(也称为单独视角)。此外，该组相机通常被布局成水平地捕获视图，而相机的其它布局也是可能的。

图1为用于360度球面全景图像(360-degree spherical panoramic pictures)的示例性处理链的示意图。可以使用360度球面全景相机(例如3D捕获装置)来捕获360度球面全景图像。球面图像处理单元110接受来自3D捕获装置的原始图像数据(raw image data)，以形成360度球面全景图像。球面图像处理可以包括图像拼接和相机校准。球面图像处理在本领域中是已知的，并且在本发明中就省略详细的细节。如图1中的图像112为来自球面图像处理单元110的360度球面全景图像的示例。如果相机定向使顶部指向上方，360度球面全景图像的顶面对应于垂直顶部(或天空)，则底面指向地面。但是，如果相机配备了陀螺仪，则无论相机的定向如何，始终可以确定垂直顶面。在360度球面全景格式中，场景中的内容似乎被扭曲。通常，球面格式作为替代的360度格式投影到立方体的表面。可以通过投影转换单元120执行转换，以导出对应于立方体的六个面的六个面图像(face image)122。在立方体的面上，这六个图像在立方体的边缘处连接。

为了保持共享共同立方边缘的相邻立方体面的连续性，在具有一些共同的发明人和同一受让人的相关的2016年12月27日提交的申请号为15/390,954的美国非临时专利申请中，已经公开了各种立方体面组合技术。组合的立方体面帧可以有助于提高编码效率。因此，立方体面组合器130用于将六个立方体面收集成组合的立方体面帧。然后对组合的图像序列进行进一步处理。立方体面组合器130可以产生完全连接的立方体面帧或部分连接的立方体面帧。由于360度图像序列可能需要大的存储空间或者需要高带宽用于传输，所以由视频编码器140编码的视频可以被应用于由一系列组合的立方体面帧构成的视频序列。在接收器侧或显示侧，使用视频解码器150对压缩视频数据进行解码，以恢复用于在显示装置(例如3D显示器)上显示的组合的立方体面帧的序列。与组合的立方体面帧相关的信息可以被提供给视频编码器140，用于有效地和/或适当地编码并适当地渲染。

图2为将球面全景图像投影到立方体210上的六个立方体面的投影转换处理的示例。六个立方体面被分成两组。第一组220对应于从前侧可见的三个立方体面，分别标记为3、4和5。第二组230对应于从立方体的后侧可见的三个立方体面，分别标记为1、2和6。