[发明专利]存在相机阵列的显著强度变化的情况下的鲁棒视差估计

说明书

本文描述了在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的系统。该系统包括相机阵列、存储器和处理器。存储器被配置为存储成像数据。处理器被耦合到存储器和相机阵列。当执行指令时，处理器将获得多个图像并生成颜色匹配图像的序列，其中该序列包括这多个图像中的每对图像。处理器还基于颜色匹配图像的序列来计算多个视差点。

相关申请的交叉引用

本申请要求Kalpana Seshadrinathan等人于2016年9月28日提交的题为“ROBUSTDISPARITY ESTIMATION IN THE PRESENCE OF SIGNIFICANT INTENSITY VARIATIONS FORCAMERA ARRAYS”的序列号为15/278,615的美国专利申请的申请日的权益，并且该申请通过引用并入本文。

背景技术

可例如设置在诸如平板计算机或智能电话之类的计算设备上的相机阵列可以从不同角度捕获同一场景的多个图像。然后可以处理这些图像以生成3D空间或深度图，以及准确地定位来自场景并进入3D空间的对象。处理捕获的图像可能需要准确确定各个捕获图像内的位置和/或像素之间的对应关系。基于这种对应关系，可以针对与那些位置和/或像素相关联的对象和/或特征估计深度。可用来确定这种对应关系的准确度可以取决于多个图像上的同质(homogenous)颜色或照明。

附图说明

图1是电子设备的框图，该电子设备使得能够在存在相机阵列的显著强度变化的情况下进行鲁棒视差(disparity)估计；

图2是多个图像；

图3是视差图的图示；

图4是用于视差估计的方法的过程流程图；并且

图5是示出介质的框图，该介质包含用于在存在显著强度变化的情况下进行视差估计的逻辑。

在整个公开内容和附图中使用相同的数字来引用相似的组件和特征。100系列中的数字指的是最初在图1中找到的特征；200系列中的数字指的是最初在图2中找到的特征；等等。

具体实施方式

处理来自相机阵列的多个图像可包括针对许多不同应用计算像素视差。在实施例中，视差是从一个图像到另一个图像的像素或区域的位置差异的度量。因此，视差可以是来自相机阵列的一对图像中的左图像和右图像的对应点之间的差异。视差可用于诸如三维(3D)深度提取、重新聚焦、测量、层效果、视图插值等的应用。视差值可以是整数，其对应于像素网格中的像素的数量以关联距离。

通常在来自相机阵列的数据上使用多基线立体(MBS)算法执行视差估计，其中相机之一被指派作为参考相机。这些算法假设特征在相机阵列各处的图像中看起来相同。这些算法还通过将围绕参考图像中的每个像素的块(patch)与来自相机阵列的其他剩余图像进行匹配来估计该像素的视差。然而，当由于对各个相机的可变曝光指派(例如，在HDR成像中)或由于阵列中的传感器的异质性而发生强度变化时，特征在相机图像之间看起来不相同。虽然可以在视差估计中使用与预处理图像的强度匹配或使用对这些变化不太敏感的误差度量来克服有限的强度变化，但是这些技术在面对严重的强度变化和/或传感器饱和时是不够的。具体而言，参考图像中的饱和区域向传统MBS算法提出了挑战。在实施例中，饱和区域是图像中与该图像的其他像素或区域的平均亮度相比具有过亮的颜色的区域或像素。在实施例中，饱和度是颜色相对于其自身亮度的色彩(colorfulness)。

本文描述的实施例在存在相机阵列的显著强度变化的情况下实现鲁棒视差估计。在相机阵列中的图像之间存在强度变化的情况下，可以鲁棒且准确地估计视差。可以模拟(model)传感器饱和度，并且即使当参考相机图像饱和时也可以利用不涉及参考相机的相机对来恢复视差。在实施例中，显著强度变化可以被定义为从像素到像素或区域到区域的大于阈值量的颜色变化。在实施例中，阈值量可以是指示图像的饱和部分的预定值。