[发明专利]基于多特征交叉一致性模型的图像匹配方法

说明书

本发明公开了一种基于多特征交叉一致性模型的图像匹配方法，属于计算机视觉技术领域，获取基于同一图像对的两组特征点下的多种不同局部特征描述符，并通过特征匹配方法获得每种局部特征的初始特征匹配排列矩阵；通过多种特征匹配排列矩阵集成策略建立跨特征的匹配关系矩阵，并融合特征内匹配关系矩阵与特征间匹配关系矩阵为多特征交叉匹配块矩阵；为多特征交叉匹配块矩阵引入闭环约束，使得谱分解方法适用于本发明；基于谱分解方法并结合一种快速的特征值分解方法来对多特征交叉匹配块矩阵进行优化重构，进而得到最终的图像特征匹配结果。本发明能够做到特征匹配结果精度与召回率的综合性能上的提升，而无需增加太大的计算代价。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种结合多种不同的图像局部特征描述符进行图像匹配方法，并能够获得更好的图像特征匹配结果。

背景技术

图像特征匹配是计算机视觉领域一个基础但重要的工作。诸如图像检索、全景图拼接、宽基线立体声、三维重建等工作都依赖于寻找一组好的图像特征匹配关系，因此一直以来备受相关领域学者的关注。一般来说，图像特征匹配流程包括以下步骤：1)特征检测，目的是在图像上通过一定的规则检测出一系列的具有较好区分度以及独特性的兴趣点(interest point)；2)特征描述，特征描述是在检测出的兴趣点的基础上，对其一定邻域内进行描述得到特征描述符(descriptor)，通常一个描述符是一个D维向量，它能够很好的体现出兴趣点的独特性；3)特征匹配，一对匹配点通常其描述符在欧氏空间中有着最近的距离，因此可以基于两组特征描述符在描述符空间中通过寻找另一组描述符的最近邻作为匹配点。在上述步骤中，特征描述符的性能对于特征匹配的结果起着重要的作用。

传统的特征描述符主要是手工设计的，其中的代表性工作至今仍广泛地应用于实际场景中。随着深度学习的快速发展，许多基于学习的特征描述符在很多数据集上有了较传统手工描述符更优秀的表现。现有的不论是手工描述符还是学习得到的描述符，虽然在公开数据集上的总体评价指标比较相似，但不同的特征描述符针对同一特征点的匹配效果却存在显著差异。例如，某种特征描述符可以给一个特定的特征点找到正确匹配，但另一种特征描述符却可能在相同的任务上失败。这一现象说明不同的特征描述符之间存在差异性，也存在信息互补优势。然而，目前大多数的特征匹配工作仅使用某一种特定的特征描述符，这并未很好的考虑到不同特征之间存在的互补性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多特征交叉一致性模型的图像匹配方法，结合使用多种特征描述符来对同一对图像对进行图像特征匹配。

为实现上述目的，本发明提供了一种基于多特征交叉一致性模型的图像匹配方法，包括：

(1)获取基于同一图像对的两组特征点下的多种不同局部特征描述符，并通过特征匹配获得每种特征描述符的初始特征匹配关系矩阵；

(2)基于每种特征描述符的初始特征匹配关系矩阵建立跨特征的匹配关系矩阵，并融合特征描述符内的匹配关系矩阵与特征描述符间的匹配关系矩阵得到多特征交叉匹配块矩阵，其中，多特征交叉匹配块矩阵满足对称性；

(3)引入一个虚拟的总集，并假设所有能匹配上的特征点都属于该虚拟总集，并为多特征交叉匹配块矩阵引入闭环约束，以使得该多特征交叉匹配块矩阵能够通过谱分解方法优化；

(4)基于谱分解方法并结合快速特征值分解对多特征交叉匹配块矩阵进行优化重构，进而得到最终的图像特征匹配结果。

在一些可选的实施方案中，步骤(1)包括：

(1.1)对包含目标场景的图像对进行特征检测，获取图像对中的第一图像的m个特征点组成第一组特征点，获取图像对中第二图像的n个特征点组成第二组特征点；

(1.2)使用N种不同的局部特征描述符算法获得第一组特征点中各特征点的特征描述符，使用该N种不同的局部特征描述符算法获得第二组特征点中各特征点的特征描述符；