[发明专利]一种基于旋转不变性的影像匹配方法

说明书

本发明涉及一种基于旋转不变性的影像匹配方法，属于影像配准技术领域。本发明首先提取影像平面内多个方向CNN特征构成方向特征，并将方向特征进行聚合；然后，利用图神经网络SuperGlue进行聚合特征向量搜索，根据各方向匹配点数量得分确定匹配主方向；最后将主方向相邻方向的匹配组合构成最佳匹配，并且输出主方向。为应对较大尺寸图像匹配效率下降明显的问题，本发明还采用先对原始影像降采样，得到缩略图后再进行主方向搜索来提高匹配的效率。本发明可以在保持原有CNN局部特征描述符良好鉴别力的前提下，使匹配算法在不对模型进行重新训练的情况下，具备全方向的泛化能力，能适应任意旋转角度差异的异源影像匹配，并且还能保持一定的匹配效率。

技术领域

本发明涉及一种基于旋转不变性的影像匹配方法，属于影像配准技术领域。

背景技术

影像局部特征具有空间位置属性，在相机标定、图像配准、空中三角测量等领域发挥着关键作用。以尺度不变特征转换(SIFT)算法为代表的传统人工设计特征提取与描述算法针对旋转、尺度等变化具有良好的重复性和区分性，在影像特征匹配领域应用广泛，但SIFT特征主要针对差异较小的同源影像。随着影像获取技术的飞速发展，不同类型传感器相继出现，不同来源的图像也广泛存在。为了对这些异源影像上存在的互补信息进行充分挖掘，往往需要对它们进行配准。因此，异源影像局部特征匹配的需求越来越迫切。相对于同源影像，由于在成像机理、波段、时相等方面存在差异，异源影像之间存在非线性辐射畸变。传统的人工设计的特征提取算法由于只考虑较小邻域影像强度和梯度信息，表达能力有限，难以适应非线性辐射畸变，不能为异源影像提供稳定的可重复特征的表达。

近年来，随着人工智能深度学习的兴起，基于卷积神经网络(CNN)的学习型局部特征检测和描述算法得到了迅速发展，相继提出了LIFT、SuperPoint、DELF、D2-Net、ContextDesc等。CNN特征的泛化性，有力增强了对存在非线性辐射畸变的异源影像特征表达的可重复性，应用于异源影像匹配效果得到了很大的提升。其中，SuperPoint特征具有泛化性能好、计算速度快等优点被广泛应用。在匹配算法方面，传统的KNN影像特征搜索只考虑特征描述符向量空间的欧式距离，忽略了关键点空间位置信息。SuperGlue匹配算法通过注意力机制将特征描述符、关键点坐标以及视觉上下文信息进行综合考虑，设计了能够同时进行特征匹配以及误匹配剔除的网络，并将同名特征匹配问题转化为求解可微分最优化转移问题(optimal transport problem)，并利用图神经网络(GNN)构建损失函数。SuperGlue效果超越传统的K-近邻(KNN)搜索算法，是影像匹配算法的又一个里程碑。CNN特征影像匹配虽然取得了显著的进步，但由于特征泛化性和可区分性是一对矛盾。在训练过程中，CNN特征为了保证一定的可区分性，泛化性就无法追求过高。目前，CNN特征有限的泛化性主要用于设计与训练网络应对非线性辐射畸变的可重复性表达上，通常忽略了对大角度和尺度差异的适应。因此，目前的CNN局部特征，普遍都无法适应大角度的旋转差异影像特征的可重复性表达，进而影响最终的影像匹配精度；特别是对于异源影像而言。

发明内容

本发明的目的是提供一种基于旋转不变性的影像匹配方法，以解决现有匹配过程中由于影像旋转导致的匹配精度低的问题。

本发明为解决上述技术问题而提供一种基于旋转不变性的影像匹配方法，该方法包括以下步骤：

1)获取待匹配的第一影像和第二影像，对第一影像进行旋转，得到各个方向的第一影像，利用深度学习算法对各个方向的第一影像分别进行特征的提取，得到各个方向的方向特征；利用深度学习算法对第二影像进行特征提取，得到第二影像的局部特征；

2)对提取的各个方向的方向特征进行聚合得到聚合特征，聚合特征通过关键点和描述符来描述；

3)利用图神经网络对聚合特征进行搜索，确定各个方向的第一影像与第二影像的匹配点对的数量，将匹配点对数量最多的方向作为主方向；

4)根据主方向以及主方向上的匹配点对第一影像和第二影像进行匹配。