[发明专利]以参考特征匹配图像特征的方法

说明书

技术领域

本发明是针对一种以参考特征匹配图像特征的方法，包括下列步骤：提供通过一拾取装置拾取的一当前图像，提供参考特征，检测在一特征检测过程中的当前图像中的至少一特征，以及将所述检测特征与所述参考特征的至少之一匹配。

背景技术

在利用摄影机取得的图像的处理中的许多任务，例如，在增强实境应用以及计算机视觉中，需要找出对应于相同实体3D表面的相同对象或景象的多个图像中的点或特征。一常见方法，例如，在参考文献[1]中所揭示的SIFT中，首先以具有高重复性的方法检测图像中的特征。这意味着，对应至相同实体3D表面的图像中的部分被选择作为对于不同视角、不同旋转以及照明设置的特征的可能性是高的。特征通常在尺度空间(即，在不同的尺度上)中被提取。因此，每个特征具有除了其的二维位置外的可重复尺度。此外，可重复方位(旋转)自在特征附近的区域(例如，强度梯度的主要方向)中的像素强度被计算出。

最后，为启用特征的比较以及匹配，一特征描述符是需要的。通常的方法使用计算的特征的尺度以及方位以转换特征描述符的坐标，其提供对于旋转以及尺度的不变性。描述符是，例如，一个n-维的实数向量，其通常利用连接局部图像强度函数的直方图被构建，例如，在参考文献[1]中的梯度。

给予一当前特征，自一当前强度图像被检测以及被描述，一重要工作是在将被称为参考特征的一组被提供的特征中，找出对应至相同的实体表面的一特征。一自然方法是通过彻底地搜寻找出当前特征的描述符的最接近邻近者以及选择对应的参考特征作为匹配。更先进的方法采用描述符领域中的空间数据结构以加速匹配。遗憾地是，没有已知的现有方法可启用高维度空间中最接近邻近者的搜寻，其是显著地更快于彻底的搜寻。这是为什么通常的方法反而使用近似最接近邻近者的搜寻，例如，通过空间分割数据结构被启用，例如，参考文献[1]中的kd-树。

标准方法的限制：

随着参考特征的数目增加，匹配一单一当前特征的时间上升，使得在一些点的实时处理成为不可能。同时，特征描述符的特殊性随参考特征的总数目而减少。虽然第一个问题可随着最佳化数据结构启用快速近似最接近邻近者的搜寻至一定的程度而被解决，但若不包含任何进一步的信息则第二问题不能被解决。

已经提出的解决办法：

Reitmayr以及Drummond的参考文献[5]说明依赖视觉跟踪的一户外增强实境系统。为初始化视觉跟踪，即去找出有关于世界的摄影机位置以及方位而不必具有自在先帧的任何知识，他们使用GPS以得到装置的粗略位置。给予的这个位置，他们试图通过在粗略的GPS测量附近的一些位置样本的受限的摄影机位置初始化视觉跟踪，直至初始化成功。

Schall等人的参考文献[7]在Kalman滤波器中将一差动GPS/IMU硬件模块与气压高度测量组合，以改进使用者的3D位置评估的精确度。这滤波的惯性跟踪再次与允许自然特征的线上学习的无漂移视觉全景跟踪器被组合。该方法不使用任何(离线学习)参考特征。

不同的方法存在，其是根据作用如参考特征的一组地理参考局部图像特征。这些方法的假设是，如果拾取装置的位置是大约地已知，例如，通过GPS，则仅那些安置于拾取装置附近的参考特征可能是可见的。这类型方法的一些范例将在下面被说明。

Kumar等人的参考文献[2]使用GPS定位以缩小至拾取装置附近的搜寻区域，并且使用一组预先建立的词汇树以找出这搜寻区域中的最佳匹配图像。

同样地，陈(Chen)等人的参考文献[4]使用通过GPS的关于装置位置的在先信息以改进特征匹配。他们讨论为每个空间区域使用一小的词汇树，如参考文献[2]，并且将这结果与使用一广域词汇树以及包含GPS位置作为特征匹配评分过程中的在先信息的方法进行比较。他们达成结论，第二方法将提供较佳的结果。

在参考文献[8]中，Arth等人使用潜在可视集合(PVS)并且因而不仅考虑特征的空间附近，而且也考虑视程限制。即使他们不在他们的室内试验中使用GPS，他们亦说明GPS可如何被在户外应用中使用以决定拾取装置的粗略位置，其接着可被使用来取回这位置的参考特征的潜在可视集合。

Bleser以及Stricker的参考文献[3]提出一视觉惯性跟踪方法，其应用惯性传感器来测量摄影机自在先帧至当前帧的相对移动。这知识被使用来预测位置并且因此定义图像空间中逐帧被跟踪的特征的2D搜寻空间。由于他们仅使用相对摄影机转换的测量，他们的技术不适合于摄影机位姿跟踪的初始化。