[发明专利]图像的深度图的生成

说明书

技术领域

本发明涉及图像的深度图的生成，并且具体地但非排他地涉及包括背景和突出(salient)的图像对象的数字图像的深度图的生成。 

背景技术

近年来，为了存储、操控和分发的目的，图像的数字化已经变得日益重要。而且，图像的数字化允许复杂的操控和处理，该处理提供了先前不能获得的机会。例如，近年来已经开始了对提供用于从图像中提取深度信息的算法的重要研究。这种深度信息可以提供从二维(2D)图像获得的三维(3D)信息。这种3D信息可以用在许多应用中并且可以例如辅助图像的自动注释。作为另一个实例，3D信息可以用于生成增强的图像，比如从2D图像生成的完整的或部分的3D图像。 

特别地，当前从单个图像重获(recovery)深度图是计算机视觉中非常有活力的研究领域，且其应用包括3D显示器和自主型机器人。一些研究特定地针对将现存的视频和静态图像转换为可以在自动立体显示器上呈现的3D格式。 

然而，这些应用面临基本障碍：2D到3D的转换任务从根本上说非常困难。因此，大多数已知的方法是探索式的并且很少的方法尝试重获构成场景的各种对象(object)深度的绝对深度或确切排序。 

在先前的研究中，已经调查了各种深度线索(cue)，包括聚焦/离焦、纹理、散射、遮蔽、以及透视(perspective)。然而，这些方法倾向于只能在限制性条件下实施并且产生劣质的不适用于例如可视化任务的深度图。 

最近，已经在尝试机器学习系统，该系统能够基于训练图像和训练图像的已知的深度数据(例如由用户提供)来调适(adapt)操作。然而，这些方法倾向于需要图像/深度图对的大训练集，这些训练集倾向于仅仅对于特定场景是可获得的。 

因此，用于生成图像的深度信息的改进的方法将是有利的，并且特别地允许增加的灵活性、更容易的实现、减少的复杂性、改进的深度信息、和/或改进的性能的系统将是有利的。 

发明内容

因此，本发明的目的是，单独地或以任何组合的方式减轻、缓和或消除上述缺陷的一个或多个。 

根据本发明的一个方面，提供一种图像处理单元，其包括：用于生成图像的图像对象分离模板的第一装置，该图像对象分离模板指示图像对象与背景区域的分离；用于通过滤波图像对象分离模板生成修改的图像对象分离模板的第二装置，所述滤波适于响应于图像的图像特性，图像特性表示亮度特性和颜色特性中至少一个；用于响应于所述修改的图像对象分离模板生成图像的图像深度图的第三装置；该图像深度图包括表示图像的至少一个图像区(region)的深度的数据。 

本发明导致生成的一种改进的图像深度图。特别地，可以实现深度转变(transition)与图像对象之间的改进的对应性和/或用于例如背景区域(area)的改进的深度数据。在许多实施例中，可以获得更容易的实现方式，特别是具有低计算资源要求的实现方式。本发明可以为更多种类的图像提供高效的图像深度图生成。例如，所述方法可以适用于具有不规则形状的图像。 

根据本发明的可选特征，第二装置被布置为：响应于图像的第一像元(picture element)的图像特性和在接近第一像元的图像区中该图像的至少一个像元的至少一个图像特性来修改第一像元的图像对象分离模板的值。 

这可以导致图像深度图的改进的和/或更容易的生成。特别地，所述特征可以提供图像深度图中的深度转变与图像对象的边界之间的改进的对应性和/或将从预定的深度分布(depth profile)确定的例如背景区的改进的深度信息。 

根据本发明的可选特征，第二装置被布置为：响应于邻近的图像区中第二像元的图像对象分离模板中的值来修改第一像元的图像对象分离模板的值。 

这可以导致图像深度图的改进的和/或更容易的生成。所述特征可以特别提供图像深度图中的深度转变与图像对象的边界之间的改进的对应性和/或将从预定的深度分布确定的例如背景区的改进的深度信 息。所述修改可以是迭代性的，并且可以基于在先前迭代中获得的值来确定新的修改的值。 

根据本发明的可选特征，所述图像对象分离模板是所述图像的图像对象分离模板(mask)，该图像对象分离模板指示图像对象和背景区域的分离。 

本发明可以提供例如具有图像深度图中的深度转变与图像对象的边界之间的改进的对应性的改进的深度图。