[发明专利]使用单个相机估算深度

说明书

相机可以捕获场景的图像，并使用该图像来生成场景的第一子像素图像和第二子像素图像。该子像素图像对可以分别由来自该图像的第一组子像素集合和第二组子像素集合表示。该图像的每个像素可以包括分别在第一子像素图像和第二子像素图像中表示的两个绿色子像素。相机可以确定如由该子像素图像对表示的场景的部分之间的视差，并且可以基于视差和两个绿色子像素之间的基线距离来估计场景的深度图，该深度图指示该部分相对于场景的其他部分的深度。可以生成图像的新版本，在该图像的新版本中聚焦于场景的该部分上并使场景的其他部分模糊。

相关申请的交叉引用

本申请要求于2017年10月4日提交的美国临时专利申请第62/567,888号和于2017年10月16日提交的美国临时专利申请第62/572,896号的优先权，其全部内容通过引用并入本文。

背景技术

当数字相机的图像捕获组件拍摄场景的照片时，图像传感器收集关于穿过相机的摄影透镜进入的光的数据。具体地，在接收到用于捕获图像的信号(例如，按钮按下)时，相机的快门可以临时打开以允许光到达图像传感器的感光点(photosite)阵列。结果，每个感光点都可以将来自光中的光子收集并存储为电信号。

感光点收集的光量越大，感光点记录的电强度就越高。例如，与从场景中的阴影或其他暗区域捕获光的感光点记录的强度较低相比，从场景中的明亮区域捕获光的图像传感器的感光点记录的强度较高。通过具有被配置为捕获和测量强度的感光点阵列，图像传感器可以记录场景的当前状态，以便随后显示为灰度图像。

为了将场景表达为彩色图像，图像传感器可以具有位于附近的彩色滤光片阵列(CFA)，该彩色滤光片阵列限制每个感光点仅收集特定颜色的入射光。例如，拜耳阵列是CFA的一种流行类型，它使用红-绿色和绿-蓝色滤光片的交替行来限制每个感光点捕获仅与一种原色(红色、绿色或蓝色)相对应的光。拜耳阵列包括更多的绿色滤光片，以使更大比例的感光点阵列收集绿光。这是由于人眼对绿光特别敏感。因此，让更多的感光点收集绿光可以产生与大多数人的视力更一致的图像。

在相机设备的快门关闭以结束在感光点阵列上的曝光之后，可以测量来自各个感光点的电荷并将其转换为数字。然后可以通过配置用于在屏幕或其他可能表面(相机取景器)上重新创建图像的匹配像素的颜色和亮度，使用来自感光点阵列中的数码的数字序列来重新生成图像。在一些情况下，对于图像传感器中的每个感光点，在显示的图像内可能存在一个对应的像素，该像素反映了在图像捕获过程中在感光点处接收到的电荷和颜色。

所生成的图像内的每个像素可以由多个成分构成，也称为“子像素”。每个像素的子像素可能取决于与由图像传感器一起使用的CFA对感光点阵列施加的颜色限制。例如，当图像传感器与拜耳阵列一起使用时，构成捕获图像的像素可以由两个绿色子像素、一个蓝色子像素和一个红色子像素组成。因此，当像素被布置并显示在一起以表示图像传感器的感光点阵列的位置和测量值时，最初由单个图像捕获组件捕获的场景的颜色和配置可以被重新创建为二维图像(2D)彩色图像。

然而，为了获得关于场景的三维(3D)信息，通常使用附加组件。例如，立体相机使用两个或更多个图像捕获组件来同时捕获可以以某种方式组合以创建或模拟3D立体图像的多个图像。尽管立体相机可以确定关于场景的3D信息，但是使用多个图像捕获组件增加了生产立体相机所涉及的总体成本和复杂性。

发明内容

本文的实施例公开了一种深度估计技术，其可以用于估计由单个图像捕获组件捕获为图像的场景中的元素的深度。在最初捕获场景的图像之后，基于由构成被布置以重新创建场景的基础像素的子像素提供的数据来生成子像素图像对。类似于由立体相机的多个图像捕获组件同时捕获的图像，该子像素图像对可以从略有不同的视点表示场景。子像素图像之间的这种视点差异或“视差”可能是由于存在于包括在图像的每个像素内的绿色子像素对之间的基线距离所致。尽管每个像素内的绿色子像素之间存在的基线距离非常小，但是该距离足以使子像素图像从略有不同的角度表示场景。