[发明专利]融合局部和全局信息的图像匹配方法

说明书

本发明提出一种融合局部和全局信息的图像匹配方法，通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率，进而建立两幅图像之间的正确匹配。所述图像匹配方法主要包括步骤：A.构建数据集并对数据集进行特征增强；B.通过基于OA‑Net改进的神经网络对数据集的局部和全局信息进行特征提取；C.计算每个匹配对的分类概率（权重）；D.将匹配对的权重通过加权8点算法计算得到基础矩阵；E.基于基础矩阵回归训练网络。该新型图像匹配方法能够有效的提取局部和全局特征，能够更有效的获取局部和全局上下文，提高图像匹配的精度，基于网络学习获得潜在的正确对应关系，有效的移除错匹配，提高图像匹配的精度。

技术领域

本发明涉及图像匹配技术领域，尤其涉及一种融合局部和全局信息的图像匹配方法。

背景技术

图像匹配技术在计算机视觉任务中有着广泛的应用，如：图像三维重建、视觉即时定位与地图构建，图像全景拼接，图像配准、立体匹配等。

目前存在很多图像特征匹配的方法，可以将它们分为传统基于特征的方法和基于深度学习的方法。传统的图像特征匹配方法有三个基本步骤：特征提取、特征描述和特征匹配。特征提取就是从图像中提取出关键点或特征点等，它表示图像中重要或独特的内容；特征描述就是用一组数学向量对特征点进行描述，其主要保证不同的向量和不同的特征点之间是一种对应的关系，同时相似的关键点之间的差异尽可能小；特征匹配其实就是特征向量之间的距离计算，常用的距离有欧氏距离、汉明距离、余弦距离等。传统的特征提取及描述算法主要有：Harris、SIFT、SURF、HOG、DPM等。传统图像特征匹配的过程比如：使用SIFT(尺度不变特征变换匹配算法)算法提取特征点，从而建立两张图片之间特征对应点的初始关系，然后使用RANSAC(随机一致性采样算法)及其变体：PROSAC和USAC解决匹配中的外点问题从而移除误匹配对。RANSAC采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，该算法执行操作简单且效果好，至今仍是流行的错匹配点移除算法。

近年来，深度学习在许多领域得到了广泛应用,并取得了极大成功,尤其是在图像处理领域。基于深度学习的图像特征匹配算法相比于传统的方法有了明显的优势，在性能方面得到了显著的提高，得到更加准确的特征匹配结果。PointCN(Kwang Moo Yi,EduardTrulls,Yuki Ono,Vincent Lepetit,Mathieu Salzmann,and Pascal Fua.Learning tofind good correspondences.In Computer Vision and Pattern Recognition(CVPR),2018)将离群点移除任务重新定义为内点或外点分类问题和基本矩阵回归问题，并引入加权8点算法计算基本矩阵，且提出了上下文归一化方法来捕获全局上下文信息，大大提高了性能。但是存在着缺点是忽略了对局部信息的获取，并且利用上下文归一化的操作通过均值和方差对特征图进行归一化，忽略了不同点之间的复杂关系，可能会影响整体性能。OANet是基于PointCN的改进，提出了DiffPool层、DiffUnpool层和OAFiltering层，其中，DiffPool层、DiffUnpool层以学习的方式捕获无序匹配对的局部信息，OAFiltering层可以提取稀疏匹配对的全局信息。OANet改善了PointCN对全局信息和局部信息的获取，解决了PointCN对局部信息获取不足的缺点。

虽然基于OANet网络的特征匹配方法已经取得了较好的效果，但网络在特征学习的过程对数据集的全局信息和局部信息的捕获不够全面，导致预测匹配对的权重来判断匹配对是内点的概率时预测的权重不够精确，就不能够有效的移除错匹配。

因此如何提高网络对数据集的全局信息和局部信息的提取，并准确移除错匹配，是进一步提升特征匹配精度的重要问题。

发明内容