[发明专利]视频编码中的高阶预测模式

说明书

技术领域

本发明属于数字视频压缩领域，具体涉及到视频信号的时域运动补偿编码。

背景技术

数字视频是通过对时域和空域连续的自然场景进行时域和空域连续采样所得。如图1所示，数字视频由一系列时域上的视频帧所组成，每个视频帧表示自然场景在某个时间的空域采样，它由二维均匀采样的视觉像素组成。每个像素由一系列描述像素亮度和色彩的数字组成，在视频编码中，最广泛被使用的格式是YUV格式，这种格式中，每个像素由一个亮度分量Y，两个色差分量U和V组成，一般对U和V分量水平和垂直方向各进行一次下采样，这样每相邻的4个像素共用1个U和V分量，这就是YUV4:2:0格式。

最广泛被使用的视频编码技术是块基混合运动补偿DCT变换视频编码技术。如图2所示，输入帧被劈分成一个个16x16的宏块，然后从左到右，从上到下依次进行编码。对每个输入的待编码当前宏块，首先从重构的帧中选择一个对当前块的预测，并与当前块相减，残差依次执行DCT变换、量化，然后反量化、反DCT变换得到重构宏块，存入重构帧序列中，用于对其后编码的宏块产生预测信号。在实际的预测过程中，宏块常常被分割成更小的8x8或4x4块来进行精确的预测。

在块基混合运动补偿视频编码技术中，共有3种不同类型的帧，I帧、P帧和B帧。I帧中只使用当前帧中已编码块的信息来作为当前块的预测。在P帧中，时域上显示顺序在当前帧前的重构帧也可以作为当前帧中待编码块的预测。如图3所示，显示时间为t的帧是当前编码帧，黑色块是当前编码块。显示时间为t-t0、t-2*t0、t-3*t0帧是重构帧，其中具有点状边界的灰色块是与当前编码块同一位置的块。在P帧中，显示时间为t-t0、t-2*t0、t-3*t0帧都可以作为当前编码块的预测。运动估计模块在重构帧中与当前块相同位置附近搜索与当前块匹配的块作为当前块的预测。如图3所示，当前编码块通过运动向量MV0指向显示时间为t-t0中的块BLK0作为当前块的预测。编码器将MV0编入码流，然后将当前块与预测块相减得到预测残差，对预测残差依次进行DCT变换、量化后把量化系数写入码流，并进行反量化、反DCT后与预测相加，得到重构块，用于后续编码块的预测。

在B帧中，当前编码块不仅可以使用显示顺序在当前帧前的重构帧作为当前块的预测，也可以使用显示顺序在当前帧后的重构帧作为当前块的预测。如图4、5、6和7所示，显示时间为t的帧是当前编码帧，黑色块是当前编码块。显示时间为t-t0、t-2*t0、t+t0帧是重构帧，其中具有点状边界的灰色块是与当前编码块同一位置的块。显示时间为t-t0、t-2*t0、t+t0帧都可以作为当前编码块的预测。在图3中，运动向量MV0指向当前块的前向预测块BLK0。在图4中，运动向量MV1指向当前块的后向预测块BLK1。在图5中，运动向量MV指向当前块的前向预测块BLK0，MV的反方向指向后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在图6中，运动向量MV0指向当前块的前向预测块BLK0，运动向量MV1指向当前块的后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在前向预测、后向预测和对称预测中，只有一个运动参数(包括运动向量和参考图像)需要编码，而在双向预测模式中，2个运动参数需要编码。

在多假设运动补偿理论中，增加预测的数目可以增加预测效率，但同时需要付出编码更多运动参数的代价。本发明描述了一种时域高阶预测方法，不仅可以增加预测效率，所付出的编码运动参数的代价却更小。

发明内容

所述的用于视频编码中P或B图像的时域预测方法，包含5种时域预测模式，如图8、图9所示的高阶时域预测模式、图10所示的一致高阶预测模式、图11所示时域合并预测模式、图12所示一般化高阶预测模式和图13所示一般化一致高阶预测模式。一致预测模式和一般化一致预测模式本质也是一种高阶时域预测模式。对当前图像中的每个编码块，编码器通过对包括如上所述5种模式在内的多种模式分别进行评估，选择其中一种模式作为当前块的可能的编码预测模式。在图8、图9、图10、图11、图12和图13中，时间为t的是当前编码帧，时间为t-t0、t-2*t0、t-3*t0、t-n*t0和t+t0均为已编码帧，它们也是当前编码帧的参考帧。在t帧中标识为BLKC的淡黑色块为当前编码块，在参考帧中的深灰色块BLKR0和BLKR1是当前编码块的参考块，浅灰色块是参考帧中与当前编码块空域位置相同的块。大的透明的线段方框是运动估计搜索范围。对于一致预测模式和一般化一致预测模式，所有参考帧的显示顺序都位于当前编码帧之前。