[发明专利]利用运动矢量预测列表处理用于视图合成的多视图视频的方法和系统

说明书

技术领域

本发明整体涉及对多视图视频进行编码和解码，并且更具体地说，涉及合成多视图视频。

背景技术

多视图视频(multiview video)编码和解码对于诸如三维电视(3DTV)、自由视点电视(FTV)和多相机监视这样的应用来说是重要的。多视图视频编码和解码还称作动态光场压缩。

图1示出了用于多视图视频编码的现有技术的“同时联播”系统100。相机1-4获取场景5的一系列帧或视频101-104。各个相机具有场景的不同视图。各个视频被独立地编码111-114为对应的已编码视频121-124。该系统使用常规2D视频编码技术。因此，该系统在预测已编码视频的帧的同时并未在从不同视点通过相机获取的不同视频之间建立关系。独立编码降低压缩效率，因此增加网络带宽和存储。

图2示出了现有技术的利用视图间关系的视差补偿预测系统200。视频201-204被编码211-214为已编码视频231-234。利用诸如MPEG-2或H.264(还称作MPEG-4Part 10)这样的标准视频编码器将视频201和204独立地编码。这些独立地编码的视频是“参考”视频。基于从解码器221和222获得的重构的参考视频251和252，利用时间预测和视图间预测来对其余视频202和203进行编码。通常，基于每块而适应性地确定预测，见S.C.Chan等人的“The data compression of simplified dynamic light fields”(Proc.IEEE Int.Acoustics,Speech,and Signal Processing Conf.，2003年4月)。

图3示出了现有技术的“提升式(lifting-based)”小波分解，见W.Sweldens的“The data compression of simplified dynamic light fields”(J.Appl.Comp.Harm.Anal.，第3卷第2号，第186-200页，1996年)。小波分解是一种用于静态光场压缩的有效技术。将输入样本301分裂为310奇数样本302和偶数样本303。从偶数样本预测320奇数样本。预测误差形成高带样本304。高带样本用于更新330偶数样本，并形成低带样本305。该分解可逆转，以使得线性或非线性操作可并入到预测和更新步骤中。

提升方案使得能够进行用于视频的运动补偿时间变换，即，运动补偿时间滤波(MCTF)，尤其是沿着时间运动轨迹的滤波器。用于视频编码的MCTF的评论由Ohm等人的“Interframe wavelet coding-motion picture representation for universal scalability”(Signal Processing:Image Communication，第19卷第9号，第877-908页，2004年10月)描述。提升方案可基于诸如Harr或5/3Daubechies这样的任何小波变换核，以及诸如基于块的平移或全局仿射运动这样的任何运动模型，而不影响重构。

针对编码，MCTF将视频分解为高带帧和低带帧。然后，帧经过空间变换以降低任何剩余的空间关联。变换后的低带帧和高带帧以及关联的运动信息被熵编码以形成编码后的比特流。可以以时间邻近视频作为输入利用图3所示的提升方案来实现MCTF。另外，可递归地应用MCTF来输出低带帧。

基于MCTF的视频的压缩效率相当于诸如H.264/AVC这样的视频压缩标准的压缩效率。另外，视频具有固有时间可伸缩性(scalability)。然而，该方法不能用于直接编码如下的多视图视频，在该多视图视频中从多个视图获取的视频之间存在关联，这是因为没有用于预测考虑时间关联的视图的有效方法。