[发明专利]提供用于描述对象表示的至少一个特征的特征描述符的方法

说明书

本发明涉及一种提供用于描述对象表示(object representation)的至少一个特征的特征描述符的方法，以及用于执行所述方法的相应计算机程序产品。此外，本发明涉及一种相应的特征描述符。

特征匹配在例如基于视觉的相机定位、视觉跟踪、对象识别、对象模型校准、传感器配准、对象分类或视觉搜索中是最重要部分之一。已经提出了许多方法并且使用最多的方法基于从某种对象表示进行的特征检测或提取接着是特征描述。这样的对象表示的实例(其也可以结合下面描述的本发明一起应用)可以是(但不限于)由一个或多个相机捕获的一个或多个图像、描述对象的一个或多个计算机辅助设计模型(也称为CAD模型)、对象的一个或多个图形或蓝图、表征对象的一个或多个声音、来自深度相机的一个或多个图像、由一个或多个飞行时间相机(也称为TOF相机)捕获的一个或多个图像、或利用上述可能的表示的任何组合获得的任何表示。

在相机图像或图形或蓝图的情况下，特征可以是例如(但不限于)多个角部、轮廓、边缘点、高斯微分中的极值、旋转不变或仿射不变区域的中心、具有特定颜色或使用颜色衍生或计算的组合或功能的区域。在CAD模型或来自深度相机的图像或来自TOF相机的图像或来自多相机系统的一组图像的情况下，特征可以另外是(但不限于)在表面法向矢量中具有高梯度、在表面中具有不连续性、形状或明确定义的几何形状的3D点。在声音的情况下，由信号处理获得的任何特征(诸如梯度极值)可以用于匹配。

上述和任何以下的实例以及示例性实施方式也可结合下面更详细描述的本发明一起应用。

为了更好的理解和清楚起见，以下示例性描述集中在对象的视觉表示的特殊情况，但是所有以下描述和论证适用于任何对象表示，诸如上面引用的表示。

在对象表示是由相机捕获的图像的情况下，基于相似性度量(或距离)的结果由关联特征构成的特征匹配方法如下运行。

在一组参考图像中，在离线阶段检测参考特征(角部、轮廓、边缘点、高斯微分中的极值、旋转不变或仿射不变区域的中心等)。通过具有高重复性的方法来进行特征检测以用于识别图像中的特征。选择该方法使得概率高，以便其检测图像中的对应于相同物理3D表面的部分，作为用于不同视点、不同旋转和/或照明设置的特征(例如，正如SIFT[1]的局部特征描述符或本领技术人员已知的其他方式)。

在大多数情况下使用存储成一定尺寸DS(DS＝描述符尺寸)的矢量的描述符来描述特征。描述符可以非常简单，诸如描述在检测特征周围的区域中的像素的强度，或者可以基于作为在特征周围的子区域中的梯度方向直方图的级联(concatenation)的局部图像强度的函数。

在大多数提出的描述符中，为了获得视点和/或照明变化的不变性，描述符的计算之前进行特征周围区域的光度和/或几何归一化。光度归一化可以例如通过从像素强度中减去像素强度的平均值或者通过特征周围区域的用来计算描述符的图像直方图均衡化来进行。几何归一化可以例如通过采用旋转(利用区域中的强度梯度的主方向计算)和/或标尺和/或仿射图像变换(参见[2]中的不同的可能仿射纠正)来进行。对于从不同的视点和/或照明条件成像的相同物理区域，归一化程序会理想地导致以非常相似描述符结束的非常相似的归一化区域。

当前特征从对象表示(诸如当前图像)中提取，对象表示可以是查询图像或者类似方式的现场捕获图像。假定在对象表示(诸如当前图像)中检测和由其描述的当前特征，匹配基本上包括在参考特征组中找到对应于相同物理3D表面的参考特征。特征匹配的最简单方法是通过穷举搜索在参考特征描述符组中找到当前特征的描述符的最近邻并且选择相应的参考特征作为匹配。更先进的方法在描述符域中采用空间数据结构来加速匹配。还有加速匹配的其他方式，如用大致最近邻算法来代替确切的最近邻算法，或者在一些情况下，可以利用相似性/特征描述符距离度量的一些特性来加速匹配，例如如果所使用的相似性度量是描述符矢量的差值的平方和(SSD)，使用平均约束SSD算法改善了匹配速度[3]。

由于一些目标应用将需要实时地和/或在计算能力和存储受限的装置(诸如移动装置、智能手机、平板电脑等)上运行，因此特征检测、描述和匹配需要在计算成本和存储器消耗方面是高效的。另外，在某些应用中，特征描述符被无线地传输(从互联网下载，从本地服务器或远程服务器发送等)，这意味着传输时间根据特征的数目以及其描述符的数目和尺寸而变化。