[发明专利]飞行时间深度成像

说明书

技术领域

本发明涉及深度成像，尤其涉及飞行时间深度成像。

背景技术

深度相机系统获得关于人或其他对象在物理空间内的位置的数据。该相机具有一个或多个传感器，这些传感器具有收集光强度的像素。深度值可以根据光强度来确定。例如，来自两个传感器的光强度数据可被相关并且可确定每一像素的深度值。深度值可被输入到计算系统内的应用来用于各种各样的应用。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，关于人的深度值可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。

为了确定深度值，深度相机可以将光投射到该相机的视野中的对象上。光从该对象反射并且反射回该相机中的收集光强度的一个或多个图像传感器。这些传感器可以是例如CCD或CMOS传感器。这些传感器可包括像素阵列，使得每一像素基于有多少光子到达该像素来随时间累计光强度。各像素处的光强度可被处理以确定深度值。一种用于确定到对象的距离的技术基于光的往返飞行时间。

然而，对象的反射率的差异可能导致问题。例如，处于同一距离处但具有不同反射率的两个对象将造成传感器处的不同光强度读数。为了克服这一问题以及其他问题，一些技术执行两种不同的深度测量并对结果进行组合。这两种不同的深度测量可以使用同一传感器，但在不同的时间进行测量。因此，在传感器捕捉测量结果的时间之间可能存在对象(或相机)运动。或者，使用两个传感器允许同时进行深度测量。然而，这两个传感器需要被置于不同的物理位置，这会导致视差差数。从这两个测量收集的数据需要被相关(或匹配)以创建单个深度值。然而，两个深度测量中的上述差数可能使得难以将深度测量进行相关或导致不准确性。

另外，深度相机可能受到噪声深度测量的损害。例如，可存在可与从对象反射的光一起被收集的一些背景光。噪声可能以多种其他方式而产生。

因此，需要进一步的改进以允许对深度相机的视野内对象的深度进行更准确的确定。该技术应与现有的深度检测相机兼容。

发明内容

提供了用于确定到电子设备的视野内的对象的深度或距离的技术。基于在不同的位置或时间收集的两个光强度图像来确定深度图像。基于两个光强度图像生成深度图像可以补偿视野中的对象的反射率的差异。可以使用迭代过程来减轻对光强度图像之间的精确匹配的需求。从而，两个光强度图像之间的像素未对准可得到补偿。同样，该迭代过程可以补偿光强度图像中的噪声。因此，可以使用来自多个传感器或来自同一传感器的不同的时间的光强度信息来生成高质量深度图像(例如，最终深度值)。

一个实施例包括确定深度图像的方法，该方法包括以下步骤。基于第一光强度图像和第二光强度图像来计算深度图像。第一和第二光强度图像包含同一场景的像素值。对深度图像进行平滑，并且基于经平滑的输出深度图像和第二光强度图像来修改第一光强度图像。基于经修改的第一光强度图像和第二光强度图像来计算深度图像的新值。重复平滑深度图像、修改第一光强度图像(在预定义边界内)、以及计算深度图像的新值，直至确定对深度图像的处理完成为止。此时，将这两个光强度图像中的像素对准并且细化的深度图像完成。

一个实施例包括一种包括处理器和耦合到该处理器的计算机可读存储介质的装置。计算机可读存储介质其上存储有指令，当该指令在处理器上执行时使得该处理器执行以下步骤。处理器访问包含同一场景的像素值的第一光强度图像和第二光强度图像。处理器基于第一光强度图像中的一个或多个邻居像素来确定第一光强度图像中的像素的边界值。处理器基于第一光强度图像和第二光强度图像来计算深度图像并平滑该深度图像。处理器基于平滑深度图像的结果来确定是否要修改第一光强度图像。在确定第一光强度图像应当被修改时，处理器基于经平滑的深度图像和第二光强度图像来修改第一光强度图像。修改可包括使第一光强度图像中的像素的值保持在边界值内。而且，如果第一光强度图像被修改，则处理器基于经修改的第一光强度图像和第二光强度图像来计算深度图像的新值。处理器继续修改第一光强度图像并计算深度图像的新值，直至确定不修改第一光强度图像为止。此时，将这两个强度图像对准并且经平滑的深度图像提取完成。