[发明专利]融合局部和全局信息的图像匹配方法

权利要求书

1.一种融合局部和全局信息的图像匹配方法，其特征在于：通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率，进而建立两幅图像之间的正确匹配。

2.根据权利要求1所述的融合局部和全局信息的图像匹配方法，其特征在于：包括以下步骤：

步骤S1：构建数据集并对数据集进行特征增强；

步骤S2：通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取；

步骤S3：计算每个匹配对的分类概率，即权重；

步骤S4：将匹配对的权重通过加权8点算法计算得到基础矩阵；

步骤S5：基于基础矩阵回归训练网络。

3.根据权利要求2所述的融合局部和全局信息的图像匹配方法，其特征在于：步骤S1具体包括以下步骤：

步骤11：对于给定的一组图像对(I,I')，使用SIFT算法分别提取I与I'中的特征点kp_i，kp′_i；则从图像I中提取的特征点集为KP＝{kpⁱ}^i∈N，从图像I′中提取的特征点集为KP'＝{kp'ⁱ}^i∈N；分别提取两张图像的特征点集后，I从I'中寻找特征点的最近邻居生成初始匹配对的集合C，图像对的初始匹配对集合C如下：

其中，C为N×4维度的数据，将C作为输入数据，

式中，c_i表示匹配对，(x_i,y_i)，(x'_i,y'_i)分别表示匹配的两个特征点在对应图像中的坐标，其中(x_i,y_i)为在图像I中的坐标，(x'_i,y'_i)为在图像I'中的坐标；

步骤12：对输入数据C进行一次卷积核大小为1×1的卷积处理，使C的通道维度从4维转换为128维，即C(1×N×4)→C(1×N×128)，进行特征增强预处理，增加了特征信息，其中，N为C中匹配对的个数。

4.根据权利要求3所述的融合局部和全局信息的图像匹配方法，其特征在于：步骤S2具体包括以下步骤：

步骤21：使用6个改进后的PointCN网络对特征增强后的输入数据C进行在通道上和空间上的特征提取，捕获N个匹配对之间的全局信息；

步骤22：使用改进后的diff-pool模块对经过步骤21后的数据学习一个软分配矩阵并对数据进行下采样，将N个匹配对个数聚类成M个类，使N×128的数据变成维度为500×128的数据，利用下采样和注意力机制学习数据的局部信息；

步骤23：将经过步骤22下采样后的数据使用三个改进后的OAFilter模块在空间维度上建立匹配对间的关系，每一个改进后的OAFilter模块进行一次残差连接，以获得数据的全局上下文；

步骤24：将对经过步骤21后的数据和经过步骤23后的数据输入改进后的diff-unpool模块，将500×128的数据恢复维度为N×128的数据，然后将上采样后的数据经过六次改进后的PointCN网络，完成对数据集的特征提取过程。

5.根据权利要求4所述的融合局部和全局信息的图像匹配方法，其特征在于：所述改进后的PointCN网络结构为：在PointCN网络后面插入一层注意力机制scSE网络模块；

所述改进后的diff-pool模块结构为：在diff-pool网络中插入一层注意力机制scSE网络模块，使数据先经过一个PointCN学习一个软分配，将N×128的数据变成维度为500×128的数据后与之后经过scSE网络模块后的数据进行残差连接；所述改进后的OAFilter模块结构为：在每个PintCN之后插入一层注意力机制scSE网络模块，并在空间对应层之后插入一层注意力机制scSE网络模块；所述改进后的diff-unpool模块结构为：在diff-unpool网络中插入一层注意力机制scSE网络模块；使数据经过一个PointCN网络，将N×128的数据变成维度为N×500的数据后与之后经过scSE网络模块后的数据进行残差连接。