[发明专利]一种基于联合表示注意力机制的深度学习图像匹配方法

说明书

本发明涉及一种基于联合表示注意力机制的深度学习图像匹配方法。包括以下步骤：步骤1、使用SIFT算法和NN匹配算法建立初始匹配集；步骤2、利用改进的网络JRA‑Net进行误匹配剔除，得到匹配为内点的概率集；步骤3、将步骤2输出的概率集视为权重集，利用加权8点算法估计本质矩阵；步骤4、通过本质矩阵回归准确的相对姿态（旋转和平移）。本方法通过联合表示注意力机制的相关理论知识以及在室内外公开数据集上的大量实验说明了本方法具有高精度，高效率和高鲁棒性的特点，可广泛应用于三维重建，遥感图像拼接、即时定位与地图构建等计算机视觉任务中。

技术领域

本发明涉及图像匹配领域，具体涉及一种基于联合表示注意力机制的深度学习图像匹配方法。

背景技术

传统图像匹配在运动恢复结构、图像拼接、同时定位和建图、三维重建等计算机视觉任务中扮演着十分重要的角色，是计算机视觉、模式识别、图像分析、安全、遥感等领域的一个重要课题。通常，图像匹配包含三个步骤，即特征点提取和描述，建立初始匹配集和误匹配剔除。由于图像对中存在大的视角变化、光照变化，以及严重的遮挡等情况，初始匹配集中包含大量的离群点。误匹配剔除作为一个关键的后处理步骤，可以从初始匹配集中保留内点并剔除离群点从而提高匹配的精度。因此，研究一种高精度，高效率和高鲁棒性的图像匹配方法在全球自动化和人工智能时代有着极为重要的理论研究意义和实际应用价值。

在过去的几十年里，研究者们提出了许多不同种类的图像匹配方法。根据最近文献以及研究成果，图像匹配方法可分为三类：直接匹配、间接匹配和基于深度学习的匹配。直接匹配的目的是直接利用空间几何关系和优化方法建立两个给定特征集之间的对应关系，又分为图匹配和点集配准。间接匹配与直接匹配最大的区别在于使用了局部特征描述子，例如尺度不变特征变换(SIFT)、加速稳健特征(SURF)等。先通过局部特征描述子建立初始匹配，再利用经典的算法，例如随机抽样一致性算法(RANSAC)、局部保持匹配(LPM)等，进行误匹配剔除。近年来，由于强大的数据驱动表达能力和深度特征获取能力，基于深度学习的特征匹配算法开始流行起来，并且在大数据集上取得了很好的效果。例如，LFGC提出由于初始匹配的无序和不规则的性质，深度学习网络需具备置换等变性，为此，他们设计了一种被称作PointCN的模块，它主要利用多层感知器(MLPs)来单独处理每一个匹配，以及上下文归一化(CN)来捕获全局上下文信息。OANet提出了可微的池化层和上池化层(DiffPoolDiffUnpool layer)来捕获几何上下文信息。然而，CN操作基于均值和方差对特征映射进行归一化，这种对每一个初始匹配都一视同仁的做法，对于异常值占主导的初始匹配集是不合理的，这会导致次优的匹配结果。因此，如何在网络学习阶段有区分性地对待每一个匹配，是一个具有挑战性的问题，其对进一步提高图像匹配精度具有重要意义。

发明内容

本发明的目的在于解决上述背景技术存在缺陷，提供一种基于联合表示注意力机制的深度学习图像匹配方法。

为实现上述目的，本发明的技术方案是：一种基于联合表示注意力机制的深度学习图像匹配方法，包括以下步骤：

步骤1、使用SIFT算法和NN匹配算法建立初始匹配集；

步骤2、利用改进的网络JRA-Net进行误匹配剔除，得到匹配为内点的概率集；

步骤3、将步骤2输出的概率集视为权重集，利用加权8点算法估计本质矩阵；

步骤4、通过本质矩阵回归准确的相对姿态。

在本发明一实施例中，所述步骤1具体实现如下：

步骤1.1、通过SIFT算法在图像对I和I′中提取关键点坐标和描述子；

步骤1.2、根据描述子的相似性和从测量空间判断的距离，建立初始匹配集C：