[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本技术涉及图像处理装置和图像处理方法，更具体地，涉及这样的图像处理装置和图像处理方法，其使得当发送不同于基准点的视点的彩色图像和深度图像的遮蔽区域时，即使视点基准点深度图像的精度低，也能够在接收端产生不同于视点基准点的视点的高质量彩色图像和深度图像。

背景技术

近年来，3D图像被人们注意。作为观看这种3D图像的流行的技术，当前存在一种观看者观看交替显示的两个视点的图像的技术。在观看两个视点的图像时，观看者戴上眼镜，当两个视点的图像中的一个被显示时，该眼镜打开针对左眼的快门，当显示另一个视点的图像时打开针对右眼的快门（下文中称为涉及眼镜的技术）。

但是，对于这种涉及眼镜的技术，观看者需要购买眼镜以及3D图像显示装置，这降低观看者的购买兴趣。另外，在观看时需要戴上眼镜对观看者来说是麻烦的。因而，存在进一步的对观看者可以不戴眼镜观看3D图像的观看技术的需求（下文中称为无眼镜技术）。

通过无眼镜技术，三个或更多个视点的图像以下述方式显示：在各个视点可观看的角度不同，观看者可以通过利用右眼和左眼看到任意两个视点的各个图像而不需要眼镜观看3D图像。

另外，适应无眼镜技术的3D图像目前要被标准化为MPEG（Moving Picture Experts Group phase，运动图像专家组）3DV。在MPEG 3DV中，多视点彩色图像和深度图像的发送要被标准化。深度图像是指示预定视点的彩色图像的各个像素的深度值（深度信息）的图像，深度值（深度信息）是表示对象在深度方向上的位置的值。

为了解码多视点彩色图像和深度图像，需要高性能解码装置。例如，要解码三视点的彩色图像和深度图像，需要具有六视点图像解码能力的解码装置。但是，目前只存在能够解码两视点彩色图像的解码装置。

而且，要发送作为基带的多视点彩色图像和深度图像，需要执行宽带发送。例如，要发送作为基带的三视点彩色图像和深度图像，需要发送六视点图像。但是，目前只存在能够发送两视点彩色图像的装置。

因而，难以编码、发送和解码作为基带的多视视点彩色图像和深度图像，并且有必要降低基带的数据量。

考虑到这些，存在一种通过产生LDV（Layered Depth Video，分层深度视频）作为基带来降低基带数据量的方法。通过该方法，产生利用基准视点（下文称为基准点）的彩色图像和深度图像以及不同于基准点的视点的彩色图像和深度图像的遮蔽地区（后续详细描述）形成的LDV作为基带。

具体地，多视点彩色图像和深度图像是从不同视点看到的同一景色的图像。因而，多视点彩色图像中不同于遮蔽区域的区域彼此重叠，多视点深度图像中不同于遮蔽区域的区域彼此重叠。考虑到这些，取代多视点彩色图像和深度图像，产生利用基准点的彩色图像和深度图像以及不同于基准点的视点的彩色图像和深度图像的遮蔽区域而形成的LDV作为基带。

遮蔽区域是这样的区域：其由于在视点改变时前景和背景之间的位置关系的改变而出现，在一个视点的图像中存在但在另一个视点的图像中不存在。也就是说，遮蔽区域是在变化前的视点的图像中被前景隐藏、但是在变化后的视点的图像中不被前景隐藏的背景。

非专利文献1公开一种从多视点彩色图像和深度图像产生LDV的方法。非专利文献2公开一种从LDV恢复多视点彩色图像和深度图像的方法。

图1是示出图像处理系统的示例结构的框图，该图像处理系统从多视点彩色图像和深度图像产生LDV，编码LDV，并且解码LDV来恢复多视点彩色图像和深度图像。

图1中示出的图像处理系统10包括格式转换装置11、多视点图像编码装置12、多视点图像解码装置13和格式逆转换装置14。

多视点彩色图像和深度图像被输入图像处理系统10的格式转换装置11。格式转换装置11执行基带转换操作。具体地，格式转换装置11从多视点彩色图像和深度图像产生LDV作为基带。结果，降低了基带数据量。格式转换装置11将LDV中的基准点的彩色图像作为基准点彩色图像提供给多视点图像编码装置12，并将基准点的深度图像作为基准点深度图像提供给多视点图像编码装置12。

格式转换装置11还将LDV中的不同于基准点的视点的彩色图像的遮蔽区域复用到一个画面，并且将产生的图像作为背景彩色图像提供给多视点图像编码装置12。格式转换装置11将LDV中的不同于基准点的视点的深度图像的遮蔽区域复用到一个画面，并且将产生的图像作为背景深度图像提供给多视点图像编码装置12。