[发明专利]联合深度估计

说明书

相关申请的交叉引用

本申请要求2009年1月7日提交的题为“Joint Depth Estimation for Multiple Depth Maps”的美国临时申请序列号61/204,485的权益，通过引用将其全部内容并入于此以用于所有目的。

技术领域

描述涉及编码系统的实现方式。多种具体的实现方式涉及联合深度估计。

背景技术

三维视频(3DV)是针对在接收器侧产生高质量3D呈现的框架。这使能了利用自动立体显示器、自由视点应用、和立体显示器进行3D视觉体验。在3DV应用中，由于在传输带宽中的限制和/或存储约束而传送或存储降低数量的视频视图和对应的深度图(典型地被称为多视图加深度(MVD))。在接收器侧，使用可用的视图和深度图来呈现附加的视图。

发明内容

根据总的方面，估计用于第一视图中的位置的第一视图深度指示值，以及估计用于第二视图中的对应位置的第二视图深度指示值。基于约束来进行第一视图深度指示值和第二视图深度指示值中的一个或多个的估计。该约束提供了用于对应位置的第一视图深度指示值和第二视图深度指示值之间的关系。

在附图和以下描述中提出了一种或多种实现方式的细节。即使以一种特定方式描述，也应清楚可以以多种方式来配置或体现多种实现方式。例如，可以将实现方式执行为方法、或者可以将其体现为装置(诸如，例如被配置为执行一组操作的装置、或存储用于执行一组操作的指令的装置)、或者可以将其体现在信号中。结合附图和权利要求书来考虑以下描述，其它方面和特征将变得明显。

附图说明

图1是来自左参考视图的左深度图的示例。

图2是来自右参考视图的右深度图的示例。

图3是深度估计器的实现方式的图。

图4是视频传输系统的实现方式的图。

图5是视频接收系统的实现方式的图。

图6是视频处理设备的实现方式的图。

图7是第一深度估计处理的实现方式的图。

图8是第二深度估计处理的实现方式的图。

具体实施方式

在许多3DV应用中，可以产生中间视图(虚拟视图)，并且这样的产生典型地被称为呈现。可以使用例如基于深度图像的呈现(DIBR)技术来执行呈现，所述基于深度图像的呈现(DIBR)技术采用所传送/所存储的视图(参考视图)和相关联的每像素深度图作为输入。这样的输入例如可以由MVD格式来提供。可以使用多种技术中的任一种来捕获深度。然而，经常仅提供视频，而估计深度。为了获得深度图，经常使用深度估计技术来找到各不同视图之间的对应性。

尤其在使用深度估计来获得输入深度图时，生成虚拟视图可能是有挑战的任务。即，由于所估计的深度图可能是有噪声的(不准确的)，并且可能没有其它的场景信息(诸如，场景的3D表面属性)可用。有噪声的深度图可能是不准确的，这是因为它们不具有正确的深度值。另外，有噪声的深度图的序列可能具有不是一致性地(consistently)不准确的不准确值。例如，处于恒定实际深度处的对象可能在第一画面中利用低深度被不准确地估计，而在第二画面中利用高深度被不准确地估计。

如果更多参考视图可用于DIBR，则典型地可以实现较佳的视图呈现质量。例如，可以使用两个参考视图来呈现中间视图。在多参考视图的情况下，如果不是已经知道每个参考视图的深度图，则估计每个参考视图的深度图。然而，不同视图的多深度图典型地是被彼此独立地估计的。如所提及的，DIBR方法的挑战之一在于以下事实：在各视图间所估计的深度图经常不一致。在利用两个或多个不一致的深度图来呈现虚拟视图时，这可能导致差的呈现质量。

在至少一种实现方式中，我们提出利用联合深度估计来估计参考视图的深度图。联合深度估计在联合处理中而不是独立地执行对于多参考视图的深度估计。联合深度估计获得更一致的不同视图的深度图，导致了在DIBR呈现的视图中较佳的质量。

在至少一种实现方式中，基于中间视图产生两个深度图。该实现方式发展了以下约束：提供两个深度图中对应位置之间的关系。可以以多种方式使用该约束来提供两个深度图之间的一致性。

在至少一种实现方式中，联合深度估计涉及对用于两个或多个视图中对应像素位置之间的视差的各视差估计成本(失真)执行的求和操作。

在至少一种实现方式中，联合深度估计涉及使用基于照相机距离的求和操作。在至少一种实现方式中，基于照相机距离来对求和操作进行加权。