[发明专利]图像编码装置和方法以及图像解码装置和方法

说明书

本申请为2004年7月22日递交的、申请号2004800166660、发明名称为“图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、记录图像编码程序的记录媒体、记录图像解码程序的记录媒体”的发明专利申请的分案申请。

技术领域

本发明涉及一种使用帧间预测编码方式的、多个帧的图像编码/解码技术。

背景技术

在所谓MPEG-1、MPEG-2或H.261、H.263的国际标准动态图像编码中，编码各帧的输出时刻。将这些时刻信息称为TR(Temporal Reference)，对每个帧进行固定长度编码。在系统中预先设定成为基准的时间间隔，用该时间间隔与TR的积来表示从序列开头开始的时刻。编码器将输入图像的时刻信息设定成TR，编码各帧，解码器在由TR指定的时刻，输出各帧的解码图像。

另一方面，一般在动态图像编码中，为了使用时间方向的相关来实现高的编码效率，采用帧间预测编码。在帧的编码模式中，有不使用帧间相关来进行编码的I帧、根据过去编码的1个帧来预测的P帧、和可根据过去编码的两个帧来预测的B帧。

在B帧中，必需在参照图像存储器中存储2帧大小的解码图像。尤其是在映像编码方式H.263与H.264中，在参照图像存储器中存储2帧或2帧以上的多个帧大小的解码图像，从该存储器中选择参照图像来进行预测。

参照图像可在每个块中选择，编码指定参照图像的参照图像指定信息。在参照图像存储器中有短时间用(STRM)与长时间用(LTRM)，在STRM中存储当前帧的解码图像，选择存储在STRM中的图像来存储于LTRM中。另外，就LTRM与STRM的控制方法而言，例如非专利文献1中记载的那样。

非专利文献1：Thomas Wiegand，Xiaozheng Zhang，and Berned Girod，“Long-Term Memory Motion-Compensated Prediction”，IEEE Transactions onCircuits and Systems for Video Technology，vol.9，no.1，pp.70-84，Feb.，1999在MPEG-1、MPEG-2的B帧中，将根据过去的帧来预测的方法称为前方向帧间预测，将根据以后的帧来预测的方法称为后方向帧间预测。后方向帧间预测中的参照帧的显示时刻比当前帧更靠后(更靠未来)。此时，在显示当前帧之后，输出后方向帧间预测的参照帧。在B帧中根据两个帧来预测的情况下(两方向帧间预测)，内插来自两个帧的图像信息，制作一个帧大小的图像信息，将其设为预测图像。

图16(A)中示出后方向帧间预测中的参照帧的显示时刻为之后的情况下的、动态图像的预测关系实例。图16所示的(1)-(7)表示帧序号。在按IBBPBBP的顺序编码从第1帧至第7帧的编码模式的情况下，由于存在图16(A)所示的预测关系，所以在实际编码的情况下，如图16(B)所示，按1423756的顺序来编码帧。此时被编码的TR顺序与编码帧一样，为对应于1423756的值。

在H.264的B帧中，从MPEG-1、MPEG-2进一步扩展后方向帧间预测的概念，后方向帧间预测中的参照帧的显示时刻也可以在当前帧之前。此时，向目的地输出后方向帧间预测的参照帧。

如上所述，在H.264中，可在参照图像存储器中存储多个解码图像。因此，定义前方向帧间预测用的参照图像指定信息L0与后方向帧间预测用的参照图像指定信息L1，分别独立指定前方向帧间预测用的参照图像与后方向帧间预测用的参照图像。

为了对每个块指定参照图像，首先编码块的预测模式(前方向帧间预测或后方向帧间预测或两方向帧间预测)，在预测模式为前方向帧间预测的情况下，编码参照图像指定信息L0，在为后方向帧间预测的情况下，编码参照图像指定信息L1，在为两方向帧间预测的情况下，编码参照图像指定信息L0和参照图像指定信息L1。

若如此定义，则后方向帧间预测中的参照帧的显示时刻不必在当前帧之后。在H.264的B帧中，可将如此在后方向帧间预测之前的帧指定为参照图像，并且指定可变更成块单位，所以除两方向帧间预测的情况下，可制作与P帧一样的预测图像。

图17(A)中示出后方向帧间预测中的参照帧的显示时刻为过去的情况下的、动态图像的预测关系实例。与图16的情况不同，即便在按IBBPBBP的顺序编码从第1帧至第7帧的编码模式的情况下，也由于存在图17(A)所示的预测关系，所以如图17(B)所示，按1423567的顺序来编码帧。