[发明专利]一种基于联合表示注意力机制的深度学习图像匹配方法

权利要求书

1.一种基于联合表示注意力机制的深度学习图像匹配方法，其特征在于，包括以下步骤：

步骤1、使用SIFT算法和NN匹配算法建立初始匹配集；

步骤2、利用改进的网络JRA-Net进行误匹配剔除，得到匹配为内点的概率集；

步骤3、将步骤2输出的概率集视为权重集，利用加权8点算法估计本质矩阵；

步骤4、通过本质矩阵回归准确的相对姿态。

2.根据权利要求1所述的一种基于联合表示注意力机制的深度学习图像匹配方法，其特征在于，所述步骤1具体实现如下：

步骤1.1、通过SIFT算法在图像对I和I′中提取关键点坐标和描述子；

步骤1.2、根据描述子的相似性和从测量空间判断的距离，建立初始匹配集C：

其中c_i表示第i对匹配，N表示匹配的总数，和分别表示图像对I和I′的归一化坐标。

3.根据权利要求2所述的一种基于联合表示注意力机制的深度学习图像匹配方法，其特征在于，所述步骤2具体实现如下：

步骤2.1、将步骤1.2得到的N×4的初始匹配集合C作为深度学习网络的输入；经过上下文提取层中的三个PointCN块，获得一个特征映射F₁∈R^N×128；PointCN块由两组相同结构的多层感知器组成，多层感知器由一个上下文归一化CN层、一个Batch归一化层、一个ReLU激活函数和一个由128个神经元构成，其中CN层用于提取全局上下文信息，Batch归一化层有助于加速网络收敛；

步骤2.2、将步骤2.1的输出结果送入几何提取层中的DiffPoolDiffUnpool层，输出一个特征映射F₂∈R^N×128；其中DiffPoolDiffUnpool层包括一个可微池化层，三个顺序感知过滤层以及一个可微上池化层；

步骤2.3、将步骤2.1和步骤2.2的输出结果一同输入第一个联合表示注意力块JRABlock 1，分别对步骤2.1和步骤2.2的输出结果进行重校准；重校准后的特征维度仍为128；其中JRA Block 1包含一个全局注意力块GA Block和一个局部注意力块LA Block；

步骤2.4、将步骤2.3的输出结果F”₁，F”₂送入第二个联合注意力块JRA Block 2，进行进一步更细致地重校准；重校准后的特征维度仍为128；

步骤2.5、将步骤2.4的输出结果拼接后，经过上下文提取层中的三个PointCN块，获得一个具有强表达能力的特征映射；

步骤2.6、将步骤2.5的输出结果输入到概率预测层Prob Predictor，获得每一个匹配作为内点的概率。

4.根据权利要求3所述的一种基于联合表示注意力机制的深度学习图像匹配方法，其特征在于，所述步骤2.2具体实现如下：

步骤2.2.1、通过一个可微的池化层，将F₁中的N对匹配映射为M个聚类，得到F_pool∈R^M×128；

步骤2.2.2、步骤2.2.1的输出结果经过三个顺序感知过滤模块，以捕获几何信息；

步骤2.2.3、步骤2.2.2的输出结果经过一个可微上池化层将M个聚类映射回N对匹配；此过程为可微池化层的逆过程。