[发明专利]图像编码方法和解码方法、其装置、图像解码装置、以及其程序和记录有程序的记录介质

说明书

技术领域

本发明涉及多视点图像和多视点活动图像的编码及解码技术。本申请基于2006年9月20日申请的日本专利申请2006-254023号主张优先权，并在这里援引其内容。

背景技术

多视点图像指的是以多个摄影机对相同的被摄体和背景进行摄影的多个图像，多视点活动图像(多视点影像)指的是其活动图像。在以下，将以一个摄影机摄影的活动图像称为“二维活动图像”，将对相同的被摄体和背景进行摄影的二维活动图像组称为多视点活动图像。

二维活动图像关于时间方向具有强相关，通过利用该相关提高编码效率。另一方面，在多视点图像或多视点活动图像中，在各摄影机被同步了的情况下，对应于相同时间的各摄影机的影像是从不同位置对完全相同状态的被摄体和背景进行摄影的影像，因此在摄影机间有强相关。在多视点图像或多视点活动图像的编码中，通过利用该相关能够提高编码效率。

首先，对与二维活动图像的编码技术相关的现有技术进行说明。

在以作为国际编码标准的H.264、MPEG-2、MPEG-4为首的现有的众多的二维活动图像编码方式中，利用运动补偿、正交变换、量化、熵编码等技术进行高效率的编码。被称为运动补偿的技术是利用帧间的时间相关的方法。

关于在H.264中使用的运动补偿技术的详细在下述的非专利文献1中记述，以下对其概要进行说明。

在H.264的运动补偿中，将编码对象帧分割为各种各样大小的块，对于每一个块选择被称为参照帧的已经编码完成的帧，使用被称为运动矢量的表示对应点的矢量信息，对影像进行预测。这时，被允许的块分割是16×16(像素)、16×8、8×16、8×8、8×4、4×8、4×4的七种。这样就能够以细小的单位与被摄体的运动的朝向和大小的不同对应地对 影像进行预测。由此，因为以预测图像和原图像的差分表示的编码对象的残差变小，所以实现了高编码效率。

接着，对现有的多视点图像或多视点活动图像的编码方式进行说明。

多视点图像的编码方法、和多视点活动图像的编码方法的差异在于，在多视点活动图像中除了摄像机间的相关之外，还同时存在时间方向的相关。可是，相同的利用摄影机间的相关的方法在多视点图像的编码方法和多视点活动图像的编码方法中均可以使用。因此，在这里对在多视点活动图像的编码中使用的方法进行说明。

关于多视点活动图像的编码，从以前就存在为了利用摄影机间的相关，通过将运动补偿应用于相同时刻的不同摄影机的图像中的“视差补偿”，从而高效率地对多视点活动图像进行编码的方式。这里，视差指的是在配置于不同位置的摄影机的图像平面上，被摄体上的相同位置被投影的位置的差。

图21表示在该摄影机间产生的视差的概念图。

在该概念图中，从上方垂直地向下观察光轴平行的摄影机的图像平面。这样，在不同的摄影机的图像平面上被摄体上的相同位置被投影的位置通常被称为对应点。

视差补偿基于该对应关系，根据参照帧预测编码对象帧的各像素值，对预测残差、表示对应关系的视差信息进行编码。

在众多的方法中，将视差作为在图像平面上的矢量来表现。例如，在非专利文献2中，包含以块单位进行视差补偿的结构，以二维矢量、即以两个参数(x成分和y成分)表现块单位的视差。也就是说，在该方法中，对以两个参数构成的视差信息和预测残差进行编码。

另一方面，在非专利文献3中，在编码中利用摄影机参数，基于对极几何约束将视差矢量作为一维的信息进行表现，由此有效率地编码预测信息。在图22中表示对极几何约束的概念图。

根据对极几何约束，在两台摄影机(摄影机A和摄影机B)中，与一方的图像上的点对应的另一方的图像上的点，被约束于被称为对极线(Epipolar line)的直线上。在非专利文献3的方法中，为了表示在对极线上的位置，以从摄影参照帧的摄影机到被摄体为止的距离的这一个参数，表现对于全部编码对象帧的视差。

非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，“Editor′sProposed Draft Text Modifications for Joint Video Specification(ITU-TRec.H.264/ISO/IEC 14496-10AVC)，Draft 7”，Final Committee Draft，Document JVT-E022，pp.10-13，and 62-68，September 2002.