[发明专利]深度推测装置、方法及程序、图像处理装置、方法及程序

说明书

技术领域

本发明涉及推测图像内的对象（object）的深度的深度推测装置、深度推测方法、深度推测程序、图像处理装置、图像处理方法及图像处理程序。 

背景技术

近年，3D电影、3D电视节目等3D影像内容（contents）正在逐渐普及。为使观看者进行立体观看，需要具有视差的右眼图像和左眼图像。在显示3D影像时，时分地显示右眼图像和左眼图像，并通过快门眼镜或偏光眼镜等影像分离用眼镜来分离右眼图像和左眼图像。由此，观看者能仅用右眼观看右眼图像，并仅用左眼观看左眼图像，进行立体观看。此外，若不是时分、而是空分右眼图像和左眼图像，则不需要眼镜，但分辨率会下降。无论是眼镜方式，还是无眼镜方式，在需要右眼图像和左眼图像这一点上是共同的。 

制作3D影像大体上有2个方法，有使用2台照相机同时拍摄右眼图像和左眼图像的方法，还有将用1台照相机拍摄的2D图像后期编辑来生成视差图像的方法。本发明涉及后一方法，涉及2D3D变换技术。 

图1是用于说明2D3D变换的基本处理流程的图。首先基于2D输入图像生成深度图（depth map、也称作深度信息）（步骤S10）。然后使用2D输入图像和深度图来生成3D图像（步骤S30）。图1中，将2D输入图像作为3D输出图像的右眼图像，并将使用深度图对2D输入图像进行了像素移位（Pixel Shift）的图像作为3D输出图像的左眼图像。以下，将具有预定视差的右眼图像与左眼图像的组称作3D图 像或视差图像。 

以往，就已提出有推测出2D图像所表现的场景结构来生成深度图的各种方法。本申请人提出了算出画面内的预定区域内的像素值的统计量来推测场景结构，并据此决定多个基本深度模型的合成比例，按照该合成比例来生成深度图的方法。使用该方法，能基于2D图像简单且高速地生成不自然感较小的3D图像。 

〔在先技术文献〕 

〔专利文献〕 

〔专利文献1〕日本特开2009－44722号公报 

为生成高质量的3D图像，需要生成高质量的深度图。为生成高质量的深度图，希望针对图像内的各对象分别使深度的形状最优化。此外，为在2D图像中也附加高质量的渐变（gradation），希望考虑图像内的对象的深度的形状，附加符合该形状的渐变。 

但是用户针对各对象分别推测或调整深度的形状是烦琐的作业。 

发明内容

本发明是鉴于这样的状况而研发的，其目的在于提供一种能简单且高精度地推测图像内的对象的深度的形状的技术。 

为解决上述课题，本发明一个方案的深度推测装置包括：轮廓确定部，抽取对象图像内的对象的轮廓；距离确定部，求取上述对象的区域内的对象像素与上述轮廓的距离；深度值决定部，根据上述距离来决定上述对象像素的深度值。 

本发明的另一方案是深度推测方法。该方法包括：确定对象图像内的对象的轮廓的步骤，求取上述对象的区域内的对象像素与上述轮 廓的距离的步骤，以及根据上述距离来决定上述对象像素的深度值的步骤。 

本发明的另一方案是图像处理装置。该装置包括：深度图生成部，基于输入图像和深度模型来生成上述输入图像的深度图；体积浮雕生成部，生成上述输入图像内的对象的浮雕图案；深度图加工部，加工由上述深度图生成部生成的深度图内的、与上述对象对应的区域；以及图像生成部，基于上述输入图像及由上述深度图加工部加工后的深度图来生成另一视点的图像。上述体积浮雕生成部包括：轮廓确定部，确定上述对象的轮廓；距离确定部，求取上述对象内的对象像素与上述轮廓的距离；以及深度值决定部，根据上述距离来决定上述对象像素的深度值。上述体积浮雕生成部基于由上述深度值决定部决定的深度值来生成上述浮雕图案；上述深度图加工部使用上述浮雕图案来对上述深度图内的与上述对象对应的区域附加浮雕。 

本发明的另一方案是图像处理方法。该方法包括：基于输入图像和深度模型来生成上述输入图像的深度图的步骤；生成上述输入图像内的对象的浮雕图案的步骤；加工所生成的深度图内的、与上述对象对应的区域的步骤；以及基于上述输入图像及加工后的深度图来生成另一视点的图像的步骤。上述生成浮雕图案的步骤包括：确定上述对象的轮廓的步骤；求取上述对象内的对象像素与上述轮廓的距离的步骤；以及根据上述距离来决定上述对象像素的深度值的步骤。上述生成浮雕图案的步骤基于由上述决定深度值的步骤所决定的深度值来生成上述浮雕图案，上述加工深度图的步骤使用上述浮雕图案来对上述深度图内的与上述对象对应的区域附加浮雕。