[发明专利]编码装置和编码方法

说明书

技术领域

本发明涉及视频编码技术，特别是帧内编码与帧间预测编码方式共存于一幅图像中的帧内刷新视频编码技术。

背景技术

帧内刷新视频编码技术是一种使视频码流平缓的技术。同时它有提高视频压缩编码实时性的作用。

帧内编码和帧间编码是针对视频序列进行压缩编码的两种方法。视频序列的编码是以图像为单位的。帧内编码是指在编码某一幅图像时，不需要其他图像的信息作为参考，因此，解码时，解码器可以仅凭一幅图像的压缩信息完成该图像的解码。由于视频序列中相邻的图像通常很相似，即存在时间冗余，可通过运动估计和运动补偿机制来对视频序列采用帧间编码方法。运动估计是求出图像序列间的运动信息，即运动矢量的过程。运动矢量附属于按统一大小或规则划分的图像块，该图像块称作宏块或宏块子划分。采用帧间编码(又称作帧间预测编码)技术时，编码器首先求出当前图像跟参考图像间的运动矢量，再由参考图像和运动矢量预测出预测图像，将运动矢量和当前图像与预测图像间的差值传送给解码器。解码器获得运动矢量和已经解码的参考图像，生成预测图像，再与差值相加，就可以利用已经解码的参考图像解码出当前图像。所有参考图像显示时刻都在当前图像之前的帧间预测称为前向预测，一部分参考图像显示时刻在当前图像之前，另一部分参考图像显示时刻在当前图像之后的帧间预测称为双向预测。这就是运动补偿原理的帧间编码方法。以上所述的帧内编码和帧间编码方法是现有最为广泛采用的运动图像编码方法，应用在ISO/IEC及ITU-T所颁布的系列标准中。在通常的情况下，帧内和帧间编码是按照图像为单位划分的，图11显示了由帧内预测图像(所有标记I的图像)和前向预测的帧间预测图像(所有标记P的图像)组成的视频序列。

由于帧间编码充分利用了参考图像信息，消除了对时间冗余的编码负担，帧内和帧间编码方式在编码效率上差异明显。图12显示了图11视频序列每幅图像相应的典型码率分布。通常I图像的码率达到P图像的十倍或更多。序列的这种结构带来两个主要的问题：第一，编码后的码率抖动剧烈。图像间码率差异悬殊导致传输带宽占用在时间上的不平均，浪费传输资源，为了平滑码率必须采用缓冲和重新打包的策略，这增加了处理负担和延迟。第二，大延迟。解码器能够解码任何帧间预测图像的前提是事先已经收到前面一幅帧内编码图像的数据并且成功解码生成参考图像。解码器随机接收压缩的视频数据时，有相当大的概率是从一幅帧间编码图像开始的，此时解码器没有这幅图像的任何参考图像。因此在收到下一个帧内编码图像数据前的所有图像都不能被解码。连续两个帧内编码图像间的距离决定了随机访问时平均延迟的大小。通常情况下，这种延迟在半秒到数秒之间。而为了减小延迟缩短帧内编码图像的间隔又会大幅增加码率。

帧内刷新技术用以解决以上问题。帧内刷新视频编码中，在同一幅图像内混合使用帧内编码和帧间编码，即对同一图像的部分区域使用帧内编码而对另一部分区域使用帧间编码，同时在连续的若干图像中帧内编码不断刷新不同区域。在经过一定数量的图像后，帧内编码的区域扫过一幅完整的图像。在任意一幅图像中，区域的典型划分如图13所示。图像被分为三部分，在固定的周期内，帧内编码条带区域从图像的一端开始划过图像的所有面积直至另一端。图14所示为帧内编码区域在4幅图像的周期内从上至下地划过图像的全部表面，并且位置互不重叠，图中t表示时间。帧内刷新编码的主要好处是码率平滑和低延迟。图15显示了与图12相同的视频序列从头开始以帧内刷新技术编码后的码率分布。如图15所示，除了第一幅图像有很大的码率外，其他图像的码率都很接近，虽然高于图12中P图像的码率但远小于I图像的码率。

当解码器随机接收任意一幅图像的压缩数据时，一定包含部分区域的帧内编码数据，可以将该区域解码，其他区域由于是帧间编码，在没有参考图像的情况下无法解码。随着帧内编码区域不断扫过图像表面，可以解码的部分也会越来越大，可以用作参考图像的区域也越来越大，因此越来越大的帧间编码的区域可以被解码。

国际标准MPEG-2(ISO/IEC 13818)的视频编码部分(即ITU-T相应的H.262)中以标准可选项的方式推荐了采用帧内刷新区域结构实现符合标准规范的低延迟视频编码。

低延迟视频编码应用于可视通信、视频会议等双向交互的视频传输和实时监控等领域，对于降低数字电视广播中切换频道中的延迟也有直接改善作用。