[发明专利]编码多个输入图像的方法及装置、存放程序的存储介质

说明书

技术领域

本发明涉及对包含相互关联的信息的多个输入图像进行编码的方法及装置、存放程序的存储介质。

背景技术

现有技术中，对于由在时域上配置的帧序列构成的运动图像，考虑其帧间的冗余性的影像编码(videocoding)方法是已知的(例如，参照非专利文献1)。在典型的影像编码方法中，取代所输入的原始图像而传输P帧(predictedframe；预测帧)和/或B帧(bi-directionalpredictedframe；双向预测帧)。P帧是通过前向预测而计算出的帧，B帧是通过前向预测、后向预测以及双向预测当中的任一者而计算出的帧。

非专利文献2公开将这样的影像编码的技术扩展至时域以及空间域来进行应用的方法。即，根据非专利文献2的示教内容，能对于在时域以及空间域上配置的多个帧，生成P帧和/或B帧。

作为在空间域上配置的帧序列的一例，能列举在使用多视点图像提供高清晰度的立体影像的三维影像技术中所使用的帧序列。这样的立体影像通过以非常多的视点(例如，200个视点)分别摄像被摄体而得到的多视点图像来实现。通过使用视点内插，对于在空间域上配置的帧序列，也能适用与针对在时域上配置的帧序列的编码同样的方法，该视点内插使用距离图这样的三维信息来生成P帧和/或B帧。

此外，在本说明书中，将数据压缩(变换)为与目的相符的码这一动作记为编码(encoding)，将变换后的码复原(解码)为原始的数据这一动作记为译码(decoding)。另外，编码处理(coding)这一用语指编码单体、以及编码和译码这两者。

现有技术文献

非专利文献

非专利文献1:ThomasWiegand,GaryJ.Sullivan,GisleBjontegaard,andAjayLuthra,OverviewoftheH.264/AVCVideoCodingStandard,IEEETransactionsonCircuitsandSystemsforVideoTechnology,Vol.13,No.7,pp.560-576,July2003

非专利文献2:P.Merkle,K.Muller,A.Smolic,andT.Wiegand,EfficientCompressionofMulti-viewVideoExploitinginter-viewdependenciesbasedonH.264/MPEG4-AVC,Proc.ICME2006,pp.1717-1720

发明内容

发明要解决的课题

根据非专利文献1和2所公开的方法，生成的P帧以及B帧是以残差(residualvalue)的形式进行传输的。在此，对残差的信息进一步执行数据压缩处理。在该数据压缩处理中，执行图像变换(典型地，离散余弦变换)、量化、熵编码(entropycoding)等。在数据压缩率高的情况下，由于执行量化，数据尺寸减小，从而产生显著的数据损失。也就是，其值小的残差的信息基于数据压缩处理而丢失。

另一方面，关于边缘信息(edgeinformation)或边界信息(boundaryinformation)这样的几个图像的特征量，必须保证：即使数据压缩率提高，该特征量也不发生丢失。

故而，对于包含相互关联的信息的多个输入图像，在压缩效率以及压缩质量这两者间取得平衡的编码技术是需要的。

用于解决课题的手段

遵照本发明的一局面，提供编码多个输入图像的方法，该多个输入图像包含相互关联的信息。该方法包含：估计步骤，根据先行的1个以上的输入图像来估计运动图像，该运动图像表示后续的输入图像中所含的变化成分；生成步骤，根据后续的输入图像与估计出的运动图像的差分来生成残差图像；确定步骤，基于残差图像的像素值，在构成残差图像的像素当中确定要以余数定义该像素值的区域；变换步骤，将针对确定出的要以余数定义的区域的像素值变换为余数；以及编码步骤，对变换后的残差图像以及用于确定要以余数定义的区域的附加信息进行编码。

优选地，所述方法还包含对构成变换后的残差图像的像素当中的要以余数定义的像素执行取模逆运算来解码残差图像的步骤，估计步骤包含基于解码出的残差图像来估计运动图像的步骤。

优选地，确定步骤包含基于构成残差图像的各像素的像素值的大小，以像素为单位来决定要以余数定义的区域的步骤，附加信息包含用于在构成残差图像的像素当中分别确定要以余数定义的像素的信息。