[发明专利]稀疏数据的重建

说明书

技术领域

本发明涉及图像重建，尤其涉及稀疏数据的重建。

背景技术

在计算机图形领域中，给定二维的相对稀疏的点集，可能期望重建稠密目标图像。例如，各点可能具有深度值或某种其他类型的标量数据。为了重建图像，可以基于各稀疏点的值来内插各稀疏点之间的空间深度(或其他类型的数据)。通常，对于两个邻近点，这两个点之间的线将具有平滑的深度分级。例如，如果点P具有深度0且点Q具有深度10，则在P和Q之间的线上的四个均匀隔开的点处，深度可以是2、4、6和8。一般地，在各点之间所内插的值平滑地变化。

尽管已经使用不同的内插策略，但先前不可能使用稠密图像或信号来通知内插过程。下面讨论与通过考虑稠密图像或引导信号的特征来重建图像有关的技术。

发明内容

包括下列概述只是为了介绍下面在详细描述中讨论的一些概念。本概述不是详尽的，且不旨在描绘所要求保护的本主题的范围，本主题的范围由在结尾呈现的权利要求陈述。

使用稠密引导图像或信号来通知从目标点的稀疏集合重建目标图像。假定该引导图像和该组目标点是从同一真实世界主体或场景导出的。首先检测该引导图像中的潜在的不连续性(例如，裂缝、边缘、缝隙等等)。潜在的不连续性可以是Voronoi区域的边界，可能是使用数据空间(例如，色彩空间)中的距离来计算的。使用不连续性和点的稀疏集合来重建目标图像。具体地，目标图像的像素可以平滑地内插在邻近目标点之间，但在邻近目标点由不连续性隔开的位置处，内插可以例如通过调整或影响松弛、或具体地通过消除平滑度惩罚来在不连续性处突然跳变。可以使用各目标点来选择在重建期间要使用的不连续性的仅一个子集。

下面将参考结合附图考虑的下列详细描述解释许多伴随特征。

附图说明

在考虑到附图而阅读下列详细描述之后，将更好地理解本描述，附图中，使用相同的参考数字标明所附描述中相同的部分。

图1使用示例数据示出一般过程。

图2示出用于找出候选不连续性的过程。

图3示出计算得到的区域和种子的示例。

图4示出用于过滤候选不连续性的过程。

图5示出用于计算种子或目标点的平滑内插的过程。

图6示出示例引导图像和示例目标像素集。

图7示出示例候选不连续性的集合和不连续性的所选子集。

图8示出最终重建的目标图像。

图9示出可在其上实现一个或多个实施方式的计算机。

具体实施方式

下面讨论的实施方式涉及使用稠密引导图像来通知从数据点的对应稀疏集合来重建图像。该讨论从解释一般实施方式的步骤开始。然后，将描述用于实现该一般实施方式的步骤的变体和细节。然后，将讨论用实际数据色彩的示例。

图1使用示例数据示出一般过程。将假定引导图像100和目标点集合102的形式的输入数据。下面进一步讨论的线103和线103A表示稍后标识的潜在不连续性且不是引导图像100的一部分。为了帮助理解，将在下一段落描述示例输入数据源。然而，应理解，引导图像100和目标点102可以具有任何源。此外，在引导图像100相对于目标点而言稠密时，在此描述的技术是有帮助的；然而，本发明技术的应用不要求这一点。在此描述的技术不依赖于输入数据的源或语义内容。此外，输入数据甚至不必基于或源自实际摄影数据或所捕捉的数据。例如，输入数据可以完全地或部分地是合成的、人工渲染的等等。

关于该示例输入源，从场景的二维照片的集合(即，该场景的不同照片)对该场景进行三维重建近来已经取得进展。可以以反映拍摄各照片的着眼点(vantage point)的方式来以三维自动排列各照片(例如，三维的一组平面矩形，每一矩形构成相应的照片)。在这样的情况中，这样的照片上的点或从这样的照片投影的点(三维空间中的点)可以形成稀疏数据点集，每一稀疏数据点具有深度和位置。各点可以对应于该场景的在各照片中描绘的物理特征(例如，物体、物体边缘、阴影边缘、物体的特征点等等)。这样的点的集合可以充当目标点102。此外，这样的照片中的一个或其合成组合可以充当引导图像100。简而言之，仅作为示例，引导图像100可以是真实世界物体或场景的所捕捉的图像数据，且数据点100中的一些可以对应于该真实世界物体或场景的一些特征。给定这一数据，以反映或考虑引导图像100以及尤其是在其中检测到的可能的不连续性的方式从数据点100重建图像(例如深度图)是合乎需要的。