[发明专利]视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质

说明书

技术领域

本发明是涉及多视点活动图像的编码以及解码的技术。 

本申请要求基于2006年1月5日申请的专利申请号为2006-000394的优先权，其内容在此引用。 

背景技术

多视点活动图像是由不同位置上的摄像机(camera)对相同被拍摄体和背景进行摄影后的多个活动图像。下面，将由一个摄像机所摄影的活动图像称为“二维活动图像”，将对相同被拍摄体和背景进行摄影后的二维活动图像的集合称为多视点活动图像。多视点活动图像中所包含的各摄像机的二维活动图像在时间方向存在较强的相关。另一方面，在各摄像机同步的情况下，与相同时间对应的各摄像机的帧对完全相同的状态下的被拍摄体和背景进行摄影，所以，在各摄像机间存在较强的相关。 

首先，描述与二维活动图像的编码方式相关的现有技术。在以作为国际编码标准的H.264、MPEG-4、MPEG-2为首的现有多种二维活动图像编码方式中，利用运动补偿、正交变换、量子化、平均信息量(entropy)编码这样的技术，进行高效率的编码。例如，在H.264中，在I帧中能够利用帧内相关进行编码，在P帧内能够利用与过去的多个帧的帧间相关进行编码，在B帧中能够利用与过去或将来的多个帧的帧间相关进行编码。 

H.264的技术细节记载在下述的非专利文献1中，下面进行简要地说明。在I帧中对帧进行块分割(将该块称为宏模块(macroblock)，块尺寸是16×16(像素))，在各宏模块中进行帧内预测(intra-prediction)。在帧内预测时，将各宏模块分割为更小的块(下面称为子块)，能够在各子块中进行不同的帧内预测方法。 

另一方面，在P帧中，能够在各宏模块中进行帧内预测或帧间预测(inter-prediction)。P帧的帧内预测与I帧的情况相同。另一方面，在帧间预测时进行运动补偿。在运动补偿中，也将宏模块分割为更小的块， 能够在各子块中具有不同的运动矢量、参考图像。 

并且，在B帧中，也能够进行帧内预测和帧间预测，但是，B帧的帧间预测中，除了过去的帧以外，将来的帧也能够适用于运动补偿的参考图像。例如，在I帧→B帧→B帧→P帧这样的帧结构中进行编码的情况下，能够以I→P→B→B的顺序进行编码。并且，在B帧中，能够参考I帧以及P帧进行运动补偿。此外，与P帧的情况相同地，能够按将宏模块分割后的每个子块具有不同的运动矢量。 

在进行帧内、间预测时，得到预测残差(prediction residual)，在各宏模块中对预测残差块进行DCT(离散余弦变换)并进行量子化。并且，对这样得到的DCT系数的量子化值进行可变长度编码。并且，在P帧和B帧中，能够按照每个子块选择参考图像，但是，参考图像由称为参考图像索引的数值表示，并且进行可变长度编码。在H.264中，参考图像索引值越小，则以越短的码进行可变长度编码，所以，使用按每个帧明确地改变参考图像索引的设计。根据这种功能，将使用频率较高的参考图像的参考图像索引值设定较小，从而能够有效地对参考图像索引进行编码。 

关于多视点活动图像的编码，以往存在如下方式：根据将运动补偿应用到相同时刻的不同摄像机的图像中的“视差补偿”，高效率地对多视点活动图像编码。在此，所谓的视差，是指在配置于不同位置上的摄像机的图像平面上对被拍摄体的相同位置进行投影的位置之差。 

在图13中示出在该摄像机间所产生的视差的示意图。在该示意图中，是垂直地向下观察光轴平行的摄像机的图像平面得到的图。这样，在不同摄像机的图像平面上对被拍摄体上的相同位置进行投影的位置一般称为对应点。在视差补偿中，由参考图像推测与编码对象摄像机的图像上的某个目标像素对应的参考目的地的摄像机的图像上的对应点，以与该对应点对应的像素值预测目标像素的像素值。以下，为了方便，将上述的“所推测的视差”也称为“视差”。在这样的方式中对视差信息和预测残差进行编码。 

此外，在很多方法中，将视差表现为图像平面上的矢量(视差矢量)。例如，在非专利文献2的方法中，包含以块为单位进行视差补偿的设计，并以二维矢量块即两个参数(x成分以及y成分)表现块单位的视差。在图14中示出该视差矢量的示意图。即，在该方法中，对由两个参数 构成的视差信息和预测残差进行编码。并且，在该方法中，不利用摄像机参数进行编码，所以，在摄像机参数未知的情况下是有效的。