[发明专利]利用正向和反向深度预测进行图像的深度提取的系统和方法

说明书

技术领域

本公开一般地涉及计算机图形处理和显示系统，并更具体地涉及一种利用正向和反向深度预测进行图像的深度提取的系统和方法。

背景技术

立体成像是在视觉上组合一个场景的从稍微不同的视点取得的至少两个图像以便产生三维(“3D”)深度的错觉的处理。该技术依赖于如下事实：人眼间隔一定距离，并且因此没有观看完全相同的场景。通过为每只眼睛提供来自不同观察点(perspective)的图像，欺骗观看者的眼睛感觉到深度。典型地，在提供两个有区别的观察点的情况下，分别将组成图像称为“左侧”和“右侧”图像，也分别将其已知为基准图像和补充图像。然而，本领域技术人员将认识到，可以组合多于两个视点来形成立体图像。

在3D后期制作、视觉效果(VFX)工作流程和3D显示应用中，一项重要的处理是从由左眼视图图像和右眼视图图像组成的立体图像中推断深度图。例如，最近商业化的自动立体3D显示器要求图像加深度图(image-plus-depth-map)输入格式，使得该显示器可以生成不同的3D视图来支持多个视角。

根据立体图像对推断深度图的处理在计算机视觉研究的领域中被称为立体匹配，因为使用像素或块匹配以发现左眼和右眼视图图像中的对应点。新近，推断深度图的处理在3D显示团体中也通常被已知为深度提取。根据各图像中与场景中的相同点对应的两个像素之间的相对距离推断深度值。

在众多计算机视觉应用(诸如，例如用于计算机辅助绘图(CAD)的快速对象建模和原型成型、用于人机交互(HCI)的对象分割和检测、视频压缩和视觉监控(visual surveillance))中广泛使用数字图像的立体匹配，以便提供三维(3D)深度信息。立体匹配从场景中位于不同位置和朝向的两个或多个相机获得场景的图像。在大约相同的时间从每个相机获得这些数字图像，并且对应于空间中的3D点匹配每个图像中的点。通常，通过搜索一部分图像和使用约束(诸如核线约束)来匹配来自不同图像的点，以便使一个图像中的点与另一图像中的点相关联。

关于深度图提取已经进行了实质性的工作。关于深度提取的大部分工作集中在单个立体图像对上而不是在视频上。然而，视频取代图像成为消费电子界的主导媒体。对于视频而言，采用立体图像对的序列而不是单个图像对。在常规技术中，向每个帧对应用静止深度提取算法。在大多数情形下，输出深度图的质量对于3D回放是足够的。然而，对于具有大量纹理的帧而言，可以看见时间性的(temporal)抖动伪像，这是因为深度图在时间方向上(即，在图像对序列的时间段中)未精确地对齐。

因此，存在对于使深度图提取处理沿时间方向稳定以减少时间性的抖动伪像的技术的需求。

发明内容

根据本公开的一方面，提供了一种利用正向和反向深度预测进行图像的时空深度提取的系统和方法。本公开的系统和方法提供了：获取多个帧、基于多个帧中的前一帧的深度图来生成多个帧中的当前帧的第一深度图，基于多个帧中的后一帧的深度图来生成多个帧中的当前帧的第二深度图，以及处理第一深度图和第二深度图以产生当前帧的第三深度图。

附图说明

将对本公开的这些以及其他方面、特征和优点进行描述，或者根据要连同附图一起阅读的优选实施例的以下详细描述，本公开的这些以及其他方面、特征和优点将变得清楚。

在附图中，贯穿各视图，相同的参考标记表示类似的元件：

图1是根据本公开的一方面的将至少两个图像进行立体匹配的系统的示例性图示；

图2是根据本公开的一方面的将至少两个图像进行立体匹配的示例性方法的流程图；

图3图示在对场景中感兴趣的点拍摄的两个图像之间的核线(epipolarline)几何关系；

图4图示在视差和深度之间的关系；

图5是根据本公开的一方面的用于估计至少两个图像的视差的示例性方法的流程图；

图6是根据本公开的一方面的时空深度提取的示例性方法的流程图；

图7图示用于增强立体图像的连续帧序列的深度图的正向和反向预测处理；以及

图8是根据本公开的一方面的生成深度图的示例性方法的流程图。

应理解，(各)附图用于例示本公开的构思的目的并且不一定是用于例示本公开的唯一可能的配置。

具体实施方式

应理解：可以以各种形式的硬件、软件或其组合来实施附图中所示的元件。优选地，在一个或多个被适当编程的通用设备上以硬件和软件的组合来实施这些元件，所述通用设备可以包括处理器、存储器以及输入/输出接口。