[发明专利]用于确定立体视觉中密集差异区的方法

说明书

技术领域

本发明总的涉及用于自动分析立体视觉(stereo vision)图像的方法，具体地涉及当已知几何对极几何(epipolar geometry)时，用于确定密集差异区(dense disparity field)的方法。

背景技术

当自动分析图像时经常要解决的问题是确定差异，其描述在用一个或多个照相机从不同的观看点获取的、显示同一个场景的两个帧之间存在的差别。差异代表在两个帧中同一个场景元素的位置的差别。有用来计算每个图像像素的差异的算法，以及还有限于它的子集--即相关特性组--的其它算法。在前一种情形下，这些被称为密集差异区，在后者的情形下，这些被称为稀疏差异区。本发明涉及第一种类别。

用于比较两个图像和确定在其中所包含的像素之间的对应关系的已知的技术是光流技术。现有技术提供通过考虑摄像机校准参数进行计算的这样的技术的各个版本。

US2003/0086590例如公开了一种通过考虑所谓的对极约束条件计算光流的技术，它假设施加光流两次：第一次以“稀疏”方式(即，仅仅用于图像像素组)，以便识别具有高信息内容的某些点的运动，因此计算几何对极几何的基本矩阵，而第二次以通过使用从这样的基本矩阵得到的对极约束条件的“密集”方式。实际上，在第二步骤中使用的各个对极线(epipolar line)是从基本矩阵得到的，它通过以下公式识别：

a_x，y(x-u_x，y)+b_x，y(y-v_x，y)+c_x，y＝0，

其中a_x，y，b_x，y，和c_x，y表示与在点(x，y)处计算的对极线有关的系数，u_x，y和v_x，y表示所考虑的点的运动的量。这样的公式是对于求解以下熟知的光流方程的约束条件：

I_xu+I_yv+I_t＝0

其中I_x，I_，y和I_t表示在所考虑的点处图像强度的空间-时间偏导数。这样，运动指向处在对极线上的位置。

US05764871公开了一种用于合成在立体视觉中的中间图像的方法。中间观看点是通过使用光流技术计算的。然而，运动限制于纯粹沿水平方向的平移运动，因此得到平行对极线。为了不失一般性，在获取的帧的垂直对准过程之前进行光流计算。

发明内容

本申请人看到，在前面引述的文件中描述的技术有问题，虽然在光流技术中几何对极几何施加的约束条件的引入允许改进在两个图像之间的差异区的计算。

具体地，这样的技术限制光流方程的解处在对极线上。这样的强加，在计算对极线时的误差的情形下，典型地由于照相机校准不精确，使得计算的解对于拍摄的场景不是最佳的。因此受限于对极线的估计会提供不可接受的解，尤其是当在帧中存在轮廓线和强的不连续性时。

本申请人发现，如果把可变影响分配给照相机校准，而不是把校准看作为绝对约束条件，则有可能改进提取的差异区的质量，这是因为有可能按志愿来影响处理过程，以便补偿系统校准误差。这是通过添加新的项到要被最小化的函数以便解决光流问题而得到的。在这样的修改后的光流目标函数中的附加项涉及到与照相机结构有关的几何。

实际上，在获取同一个场景的两个图像后，考虑到对于第二图像的每个像素，在第一图像上有相应的点(不一定是像素)(如果像素涉及到也是在第一图像中获取的场景的元素)，本发明的方法通过确定使得包括考虑对极约束条件的项的光流目标函数最小化的运动而允许计算在两个图像之间的差异区，即，从第一图像上的点到第二图像上的相关的像素的位移组。具体地，对于第二图像的每个像素，这样的项取决于在第一图像上的相应的点和与这样的像素有关的对极线之间的距离。更具体地，这样的项正比于在这样的点与这样的线之间的距离的平方。按照本发明的第一方面，所以，本发明涉及一种用于确定在数字图像中的密集差异区的方法，包括以下步骤：

.从与同一个场景有关的两个不同的位置，获取同一个场景的第一和第二图像；以及

.对于第二图像的每个像素，确定从第一图像上的点到第二图像的这样的像素的、使得光流目标函数最小化的运动；

其中光流目标函数包括，对于第二图像的每个像素，以单调增加的方式依赖于在与这样的像素有关的对极线和第一图像的以上的点之间的距离的项。