[发明专利]异视点图像生成装置以及异视点图像生成方法

说明书

技术领域

本发明涉以及一种用于3维(3D)显示的图像处理技术，尤其涉以及一种根据在互不相同的视点位置上拍摄的两个以上的图像，来生成视点位置与该两个以上的图像不同的其他图像的异视点图像生成装置。

背景技术

现已有通过对视听者的左右眼显示视差图像(以下，也称之为立体图像)，从而使视听者将平面影像感知为立体影像的技术。

另外，还有根据一组立体图像来生成视点与该立体图像不同的图像(异视点图像)的技术(例如，参照专利文献1)。

专利文献1中记载的技术是一种利用表示图像的深度方向的距离的深度图，以及根据深度方向的距离，使像素在水平方向上移动，从而生成异视点图像的技术。这种技术一般被称为DIBR(深度Image Based Rendering)。

通过DIBR生成的图像有时会包含原立体图像中并未出现的区域。这种区域是未被分配像素值的区域(以下，称之为孔区域)，因此有必要以某种方法来对其进行插值。

专利文献1：特开2010-218548号公报

发明内容

在此，本发明提供一种能够对异视点图像中出现的孔区域进行高质插值的异视点图像生成装置。

本发明的一形态的异视点图像生成装置，具备：异视点图像生成部，根据表示图像内各像素的深度的距离信息，从在两个以上的视点位置上分别取得的两个以上的图像，分别生成一个异视点图像，该异视点图像相当于在与上述两个视点位置不同的虚拟视点位置上取得的图像，并且该异视点图像是包含作为像素值欠缺的区域的孔区域的图像；孔密度算出部，按每一个由一个以上的像素构成的处理单位，针对生成的两个以上的异视点图像分别算出孔密度，该孔密度是指该异视点图像内的上述孔区域在包含该处理单位的规定区域内所占的比例；合成比例算出部，根据上述两个以上的异视点图像各自的上述孔密度，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例；异视点图像合成部，根据算出的合成比例，对上述两个以上的异视点图像进行合成。

另外，这些总括性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，亦可由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

根据本发明的异视点图像生成装置，能够对异视点图像中出现的孔区域进行高质插值。

附图说明

图1是实施方式的异视点图像生成装置的整体结构图。

图2是表示被输入到异视点图像生成部的图像以及深度图的一个例子的图。

图3是表示异视点图像生成部生成异视点图像的图。

图4是表示孔密度算出部的孔密度算出方法的图。

图5是用于说明孔密度算出方法的具体例的模式图。

图6是表示合成比例算出部生成合成比例图的图。

图7是表示左异视点图像的孔密度与右异视点图像的孔密度的差、和合成比例α的关系的图。

图8是表示填孔处理之后的左异视点图像以及填孔处理之后的右视点图像的模式图。

图9是表示异视点图像合成部生成的输出图像的图。

图10是实施方式的异视点图像生成装置的动作流程图。

图11是其他实施方式的异视点图像生成装置的整体结构图。

图12是其他实施方式的异视点图像生成装置的动作流程图。

图13是表示异视点图像生成装置的应用例的第一图。

图14是表示异视点图像生成装置的应用例的第二图。

具体实施方式

(本发明的基础知识)

作为显示3D电影或者3DTV等的立体影像的方法，现已存在各种各样的技术。这些技术的共同之处是，通过针对视听者的左右眼显示有视差的立体图像，从而使视听者将平面影像感知为立体影像。针对视听者的左右眼显示的立体图像之间的视差量越大，视听者所感觉到的立体感就越强。相反，立体图像的视差量小的情况下，视听者感觉到的立体感也减弱。

立体图像的视差量根据拍摄立体图像的立体相机的透镜间的距离而定，而理想的结构是事后能够对所拍摄的立体图像的视差量进行变更，从而调整立体感的结构。

另外，在采用了柱状透镜等的裸眼3D显示器中，根据视听者的位置来显示视点位置不同的立体图像。在此情况下，为了使所显示的立体图像的变化之处不显突兀，有必要预备在多个视点位置拍摄到的图像，但是，在多个视点位置拍摄图像需要非常大的成本。有鉴于此，需要使立体图像变形，而生成视点位置不同的多个图像。