[发明专利]基于深度图嵌入网络与结构自学习的图像关键点匹配方法

说明书

本发明属于计算机视觉领域，具体涉及了一种基于深度图嵌入网络与结构自学习的图像关键点匹配方法，旨在解决现有技术未能学习图像目标的结构信息，图像关键点匹配的精度和准确性还远达不到预期的问题。本发明包括：分别对获取的待匹配图像对的关键点进行结构化处理；提取待匹配图像的特征图，并通过双线性插值获取关键点特征矩阵；通过深度图嵌入网络更新关键点特征矩阵及图结构；通过深度图匹配网络计算相似度矩阵，通过Sinkhorn算法得到匹配矩阵并更新关键点特征矩阵；通过匈牙利算法进行迭代设定次数获得的最终匹配矩阵的离散化，获得待匹配图像对的关键点匹配结果。本发明能够更好地学习关键点特征，获得较好的匹配结果。

技术领域

本发明属于计算机视觉领域，具体涉及了一种基于深度图嵌入网络与结构自学习的图像关键点匹配方法。

背景技术

视觉目标关键点匹配是计算机视觉领域的经典问题。一般地，该问题首先要从两幅图像中分别抽取目标关键点的特征表示，然后根据关键点之间的相似度获得匹配结果，求解两图中关键点匹配的主要方法一般可分为两类：一类是通过RANSAC等方法直接获得匹配结果；另一类方法则通过图匹配方法求解。相比于RANSAC等方法，图匹配方法的优势在于可以充分利用目标的结构信息以减少歧义，提升匹配精度。传统的提取图像目标关键点特征的方法一般采用SIFT，SURF等，而构建目标结构的方法可通过Delaunay三角分解、K近邻等方法实现，然而，该过程所涉及的图匹配问题一般为NP难问题，求解难度较大。

深层神经网络在图像匹配上得到了越来越多的应用，其中卷积网络已在图像特征学习方面表现出了极大的优势，而图嵌入网络是目前用于解决结构化数据特征学习问题的重要方法。一些文献提出通过图匹配求解图像关键点匹配的方法[1]，但其更注重图匹配模型的求解，对于图像特征提取等问题的研究较少。此外，隆德大学提出一种基于卷积神经网络的图匹配方法[2]，通过深层神经网络获取图像深度特征，通过深度特征构建二次图匹配模型求解关键点匹配，该方法可完成端到端训练，且得到了较好的匹配效果；复旦大学提出一种基于图嵌入神经网络的图匹配方法[3]，通过卷积神经网络获取图像关键点特征，通过图嵌入神经网络更新关键点特征，将图结构信息融合进关键点特征中，最后构建线性图匹配模型获得匹配结果，避免了求解二次图匹配这一难题。这里。这两种方法虽然充分利用神经网络强大的学习表示能力，但并未能学习图像目标的结构信息，图像关键点匹配的精度和准确性还远达不到预期。

以下文献是与本发明相关的技术背景资料：

[1]Liu Zhiyong、Qiao hong，GNCCP-Graduated NonConvexity and ConcavityProcedure[J]，IEEE TRANSACTIONS.

[2]Andrei Zanfir、Cristian Sminchisescu，Deep Learning of GraphMatching，IEEE//201808.

[3]Wang Runzhong、Yan Junchi、Yang Xiaokang，Learning CombinatorialEmbedding Networks for Deep Graph Matching[C]//2019.

发明内容

为了解决现有技术中的上述问题，即现有技术未能学习图像目标的结构信息，图像关键点匹配的精度和准确性还远达不到预期的问题，本发明提供了一种基于深度图嵌入网络与结构自学习的图像关键点匹配方法，该方法包括：

步骤S10，通过Delaunay三角分解或K近邻法分别对获取的待匹配图像对的关键点进行结构化处理，获得两幅图像关键点的邻接矩阵；

步骤S20，将所述待匹配图像对及其关键点、邻接矩阵输入训练好的图像关键点匹配网络，通过图像关键点匹配网络中的特征提取网络提取关键点特征图，并通过双线性插值法获取关键点特征矩阵；

步骤S30，通过图像关键点匹配网络中的深度图嵌入网络更新关键点特征矩阵及图结构；