[发明专利]计算深度图

说明书

技术领域

本发明涉及计算深度图。

背景技术

为了在多视图显示设备上产生3D印象，必须再现来自不同虚拟视点 的图像。这就需要存在多输入视图或一些3D或深度信息。从多视图相机 系统产生的或从传统的2D视频资料产生的该深度信息可被记录。为了从 2D视频产生深度信息，可以应用多种类型的深度暗示：诸如运动恢复结 构(structure from motion)、聚焦信息、几何形状以及动态遮蔽。所 得到的深度图随后被用于再现多视图图像以给观众提供深度印象。

WO2005/083631公开了针对图像的各个像素产生深度图的方法，该 深度图包括表示到观众的距离的深度值。该方法包括：通过结合像素(所 述像素设置在从第一个像素到属于图像像素的预定子集的第二个像素的 路径上)值之间的差，计算针对图像的第一个像素的成本值；并基于成 本值来分配对应于第一个像素的第一个深度值。

所引用的方法基于以下观察。场景中将要成像的对象具有不同的尺 寸、亮度以及颜色，并且具有一定的空间部署。一些对象遮蔽了图像中 的其它对象。图像中像素的亮度和/或色值间的差主要与对象表面的光特 性间的差有关、以及与场景内对象相对于光源的空间位置有关。表面的 光特性包括例如颜色和反射率。因此，亮度和/或颜色的较大转变或者邻 近像素的像素值之间的较大差对应于第一图像段和第二图像段之间的转 变，籍此，在被成像的场景中，第一图像段对应于第一对象，而第二图 像段对应于第二对象。通过针对图像的像素确定亮度和/或颜色转变的次 数和延伸、或者在从各个像素到图像的预定位置的路径上的像素值之间 的差，可以获得与场景中对象的空间部署有关的相应度量。这些度量或 成本值随后被转换成深度值。这种转换优选是成本值与预定常数相乘。 可替代地，这种转换对应于各个成本值到预定范围的深度值的借助于归 一化的映射。应注意，背景也形成一个或多个对象，例如天空或森林或 牧场。

基于亮度和/或颜色瞬变的深度值能够被直接用作用于再现多视图 图像的深度值。

发明内容

拥有用于计算深度图的改良系统将是有利的。为了更好地解决该问 题，在本发明的第一方面，提出了一种能够针对图像的各个像素计算深 度图的系统，该深度图包括表示到观众的距离的深度值，该系统包括：

优化单元，用于确定当前像素的深度相关成本值，该深度相关成本 值是多个候选成本值之中的最小成本值，其中：

至少一个候选成本值基于当前像素的局部邻域内的至少一个像素的 深度相关成本值、以及基于局部邻域内至少一个像素的颜色属性和当前 像素的对应颜色属性之间的差，以及

至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度 相关成本值、以及基于局部邻域外至少一个像素的颜色属性和当前像素 的对应颜色属性之间的差；

该系统还包括分配器，用于依赖所确定的深度相关成本值向当前像 素分配深度值。

该系统基于以下构思：深度的变化通常与对象边界一致，且对象边 界通常与颜色属性的变化一致。因此，通过考虑当前像素的局部邻域内 的像素的深度以及相对于与这些像素有关的至少一个颜色属性的差，可 估计当前像素的深度。所述局部邻域优选包括距当前像素足够近以便能 够观察发生在当前像素上的颜色属性的局部变化的像素。然而，只查看 邻域中的像素导致不切实际的深度图，因为不能确定当前像素是否属于 在图像的其它任何地方也可见的对象，因此，对象的不同部分不总是被 分配相似的深度值。通过考虑邻域外的至少一个像素，这种情形得到改 进。

优选地，所提到的差是绝对差。同样优选地，与至少一个像素(邻 域内或外)有关的成本值被加到相应的绝对差上，以获得候选成本值。

作为中间步骤，与深度值有关的成本函数被确定，例如成本函数可 与深度一致或者与深度成反比。优选地，低成本函数对应于指示远离观 众的位置的深度值，而高成本函数对应于指示靠近观众的位置的深度值

实施例包括选择器，用于从跨越具有大于图像宽度一半的长度的图 像区的一组候选者中随机选择局部邻域外的至少一个像素。这样，在处 理了较少量的当前像素之后，跨越较大图像区的像素已被考虑。

实施例包括：统计单元908，用于根据与局部邻域外至少一个像素中 的各个像素有关的各个成本值，计算与局部邻域外所述至少一个像素有 关的成本值；以及