[发明专利]图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序

说明书

公开了图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序。图像编码/解码装置在对由多个不同的视点的图像构成的多视点图像进行编码/解码时，使用针对与处理对象图像不同的视点的参照图像和作为针对参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码/解码，所述图像编码/解码装置具有：参照深度区域设定部，针对分割了处理对象图像的处理对象区域设定作为参照深度图上的对应区域的参照深度区域；以及视点间预测部，将参照深度区域中的深度信息作为针对处理对象区域的深度信息，根据参照图像来生成针对处理对象区域的视点间预测图像。

技术领域

本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序。

本申请是优先权为在2012年12月27日向日本申请的特愿2012-284616号的、于2015年6月25日进入中国国家阶段的中国专利申请No.201380068069.1的分案申请。

背景技术

历来，已知有由用多个摄像机对相同的被摄体和背景进行拍摄的多个图像构成的多视点图像（Multiview images：多视点图像）。将该用多个摄像机拍摄的活动图像称为多视点活动图像（或多视点视频）。在以下的说明中，将用一个摄像机拍摄的图像（活动图像）称为“二维图像（活动图像）”，将用位置、方向（以下，称为视点）不同的多个摄像机对相同的被摄体和背景进行拍摄的二维图像（二维活动图像）组称为“多视点图像（多视点活动图像）”。

二维活动图像关于时间方向存在强的相关性，能够通过利用该相关性来提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机同步的情况下，与各摄像机的视频的相同时刻对应的帧（图像）为从其他的位置对完全相同状态的被摄体和背景进行拍摄的帧（图像），因此，在摄像机之间（相同时刻的不同的二维图像之间）存在强的相关性。在多视点图像、多视点活动图像的编码中，能够通过利用该相关性来提高编码效率。

在此，对二维活动图像的编码技术相关的现有技术进行说明。在包括作为国际编码标准的H.264、MPEG-2、MPEG-4的现有的许多的二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用与过去或未来的多个帧的时间相关性的编码。

例如，在非专利文献1中记载了在H.264中使用的运动补偿预测技术的细节。对在H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测许可将编码对象帧分割为各种尺寸的块而具有按照各块不同的运动矢量和不同的参照帧。通过使用按照各块不同的运动矢量来实现对按照每个被摄体不同的运动进行了补偿的精度高的预测。另一方面，通过使用按照各块不同的参照帧来实现考虑了由于时间变化而产生的遮挡的精度高的预测。

接着，对历来的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法和多视点活动图像的编码方法的不同在于，在多视点活动图像中，除了摄像机之间的相关性之外，还同时存在时间方向的相关性。但是，无论在哪种情况下，都能够通过相同的方法利用摄像机之间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。

关于多视点活动图像的编码，历来存在通过为了利用摄像机之间的相关性而将运动补偿预测应用于相同时刻的用不同的摄像机拍摄的图像的“视差补偿预测”来高效率地对多视点活动图像进行编码的方式。在此，视差是指在配置于不同位置的摄像机的图像平面上被摄体上的相同部分存在的位置之差。图15是示出在摄像机之间产生的视差的概念图。在图15所示的概念图中，为垂直地俯视光轴平行的摄像机的图像平面的图。像这样，被摄体上的相同部分投影在不同的摄像机的图像平面上的位置一般被称为对应点。