[发明专利]用于阵列相机的动态校准的系统和方法

说明书

本发明公开了用于动态地校准阵列相机的系统和方法，以便适应可在其整个使用寿命中发生的几何形状变化。所述动态校准方法可包括获取场景的一组图像，并且识别所述图像内的对应特征。可使用几何校准数据来校正所述图像，并且确定在观察到对应特征的位置处的所述几何校准数据的残差向量。然后可使用所述残差向量来确定所述相机阵列的更新的几何校准数据。在若干实施方案中，使用所述残差向量来生成更新所述几何校准数据的残差向量校准数据场。在许多实施方案中，使用所述残差向量，从对于所述相机阵列的当前几何形状呈最佳拟合的多个不同组几何校准数据之中选择一组几何校准。

技术领域

本申请整体涉及相机阵列，并且更具体地讲，涉及相机阵列的动态校准。

背景技术

由于每只眼睛的视野不同，对场景的双眼观察会产生场景的两个略微不同的图像。这些差异(称为双眼差异(或视差))所提供的信息可用于计算视景的深度，提供深度感知的主要手段。与立体深度感知相关的深度印象还可在其他条件下获得，诸如当观察者在运动的同时仅用一只眼观察场景时。可利用所观察到的视差获得场景中的对象的深度信息。可使用机器视觉中类似的原理来搜集深度信息。

隔开一距离的两个相机可拍摄相同场景的图片，并且可通过移位两个或更多个图像的像素对所捕获的图像进行比较以发现图像中匹配的部分。在两个不同相机视图之间对象的移位量称为差异，其与到对象的距离成反比。可使用检测多个图像中的对象的移位并得到最佳匹配的差异搜索来计算到对象的距离，所述计算是基于相机之间的基线距离和所涉及的相机的焦距(以及相机的附加特性的知识)。在大多数相机构型中，找到两个或更多个图像之间的对应性需要在两个维度中搜索。然而，可使用校正来简化差异搜索。校正是可用于将两个或更多个图像投影到公共图像平面上的变换方法。当使用校正将一组图像投影到同一平面上时，差异搜索变成沿着对极线的一维搜索。

最近，研究人员已使用跨较宽合成孔径的多个相机来捕获光场图像(例如，斯坦福多相机阵列)。光场通常被定义为表征来自场景中所有点处的所有方向的光的4D函数，可被理解为场景的二维(2D)图像的二维集合。由于实际约束，通常难以同时捕获形成光场的场景2D图像的集合。然而，这些相机各自捕获图像数据时的时间越接近，光强度的变化(例如，荧光灯的另外无法感知的闪烁)或对象运动就越不可能导致所捕获的图像之间的时间相关的变化。可利用涉及光场捕获和重采样的方法模拟具有大孔径的相机。例如，指向场景的MxN相机阵列可模拟视野与该阵列一样大的透镜的聚焦效果。在许多实施方案中，相机不必布置成矩形图案，并且可具有包括以下的构型：圆形构型和/或适合具体应用的要求的任何任意构型。以这种方式使用相机阵列可称为合成孔径成像法。

发明内容

根据本发明的各种实施方案的系统和方法执行相机阵列的动态校准。一个实施方案包括：使用多个相机获取场景的一组图像，其中该组图像包括参考图像和备选视图图像；使用由图像处理应用程序所指令的处理器检测所述一组图像中的特征；使用由图像处理应用程序所指令的处理器在所述备选视图图像内识别与在所述参考图像内检测到的特征相对应的特征；使用由图像处理应用程序所指令的处理器，基于一组几何校准数据来校正所述一组图像；使用由图像处理应用程序所指令的处理器，基于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位，来确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量；使用由图像处理应用程序所指令的处理器，基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据；以及使用图像处理应用程序所指令的处理器，基于更新的几何校准数据来校正捕获了备选视图图像的相机所捕获的图像。