[发明专利]用于360度视频译码的面不连续性滤波

说明书

公开了用于360度视频编码的不连续面边界滤波的系统，方法和工具。例如，在面不连续性的任一侧上使用译码样本或填充样本，全部或部分地对面不连续性进行滤波(例如，以减少接缝伪像)。滤波可以被应用为例如环内滤波器或后处理步骤。与面不连续性的两侧相关的2D位置信息在视频位流中被用信号通知，从而滤波可以不依赖于投影格式和/或帧打包技术来应用。

相关申请的交叉引用

本申请要求在2017年12月19日提交的申请号为62/607,737的美国临时专利和在2018年4月2日提交的申请号为62/651,448的美国临时专利的权益，其公开内容通过引用整体并入本文。

背景技术

各种数字视频压缩技术实现了有效的数字视频通信、分发和消费。标准化视频压缩技术的一些示例是H.261、MPEG-1、MPEG-2、H.263、MPEG-4部分2和H.264/MPEG-4部分10AVC。与H.264/AVC相比，先进的视频压缩技术(例如高效视频译码(HEVC))可以在相同的视频质量下提供两倍的压缩率或一半的比特率。可以使用各种技术来产生接缝伪影。

发明内容

公开了用于滤波与360度视频相关联的面不连续性的系统、方法和手段。表示360度视频的帧打包图片可以由译码设备(例如，编码设备和/或解码设备)接收。帧打包图片可以包括一个或多个分别对应于360度视频的二维(2D)投影的面。译码设备可以确定在帧打包图片中是否存在面不连续性(例如，至少一个面不连续性)。如果存在面不连续性，则基于与面不连续性相关联的2D位置信息，译码设备可以进一步识别面不连续性的第一侧和第二侧。这样的2D位置信息可以被包括在视频比特流中，并且面不连续性的第一和第二侧分别与第一面的第一边缘和第二面的第二边缘重合。译码设备可以基于所识别的第一和第二侧，将滤波器应用于沿着第一和第二边缘定位的一个或多个样本，例如，以便去除与面不连续性相关联的一个或多个伪影。如果在帧打包图片中不存在面不连续性，则译码设备可以在不应用滤波器的情况下处理沿多个面的边缘定位的样本。

与面不连续性相关联的2D位置信息可指示面不连续的第一侧的第一起始点的位置和面不连续性的第二侧的第二起始点的位置。2D位置信息还可以指示面不连续性的第一侧的第一起始点到第一端点的相对位置(例如距离)，以及面部不连续性的第二侧的第二起始点到第二端点的相对位置(例如距离)。可以作为后处理步骤或使用环内滤波器来应用滤波。可以沿着第一和第二边缘将滤波联合地应用于第一和第二面中的译码样本。替代地或附加地，第一面可以被填充(例如，使用几何形状填充)，并且可以使用第一面的一个或多个填充样本沿着第一边缘对至少一个样本应用滤波。

附图说明

图1A是示出了以经度和纬度(θ)表示的球面采样的示例的图。

图1B是示出使用等矩形(equirectangular)投影(ERP)将球面投影到2D平面上的图。

图2A是示出立方体贴图投影(CMP)几何形状的示例的示图。

图2B是示出包括六个面的2D平面的示例的图。

图2C是示出包括六个面的2D平面的示例的图。

图3是示出了用于ERP的几何形状填充的示例的图。

图4是示出用于CMP的几何形状填充的示例的图。

图5是示出360度视频处理工作流的示例的框图。

图6是示出基于块的混合视频编码系统的示例的框图。

图7是示出基于块的视频解码器的示例的框图。

图8是示出可在当前变换单元(TU)的帧内预测中使用的示例参考样本的图。

图9是示范性帧内预测方向的图。

图10是示出了利用一个运动矢量(MV)的帧间预测的示例的图。