[发明专利]基于深度学习和人工设计特征相结合的多源图像配准方法

说明书

本发明提供了一种基于深度学习和人工设计特征相结合的多源图像配准方法。首先采用传统的人工设计特征点提取方法来提取匹配点对，并利用改进的加权图变换算法去除误匹配点对；然后，以匹配点对坐标为中心，分别在基准图像和待配准图像中截取固定大小的图像块得到匹配图像块集合；接着，构建相似性度量深度卷积网络模型，并使用自建的多源匹配图像数据集对模型进行预训练，再利用前面获得的匹配图像块集合对预训练网络模型进行微调，得到最终的网络模型；最后，利用此网络对基准图像和待配准图像中的图像块进行相似性度量，计算变换矩阵，并完成图像配准。本发明方法结合了人工设计特征以及基于深度学习的特征度量，提高了图像配准的精度。

技术领域

本发明属图像配准技术领域，具体涉及一种基于深度学习和人工设计特征相结合的多源图像配准方法。

背景技术

多源图像配准是指将不同类型的传感器从不同时间、不同角度所获得的针对同一场景的两幅或多幅图像数据进行预处理后，再采用一定的算法或模型将它们变换到同一坐标系下的过程，这里的多源图像主要是指可见光图像、热红外图像、近红外图像、高光谱图像的单波段图像等。多源图像配准为多源图像处理提供了统一的空间基准，是多源图像融合等处理的基础，可用于图像拼接、目标检测、运动估计、特征匹配等，具有重要的研究意义和实用价值。

在现有的多源图像配准方法中，无论是基于特征的图像配准方法还是基于灰度的图像配准方法，在匹配阶段都需要采用某个相似性度量标准进行匹配与否的判断。因此，多源图像配准的难点就在于相似性难以度量，同名点的特征描述不一致，灰度信息也不一致，而传统的相似性度量方法难以达到度量值越小相似度越高的目标。

文献“M.Izadi,P.Saeedi.Robust Weighted Graph Transformation Matchingfor Rigid and Nonrigid Image Registration.[J].IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,2012,21(10):4369”提出了一种基于图变化匹配(GTM)的加权图变换算法(WGTM)，引入角距离作为另一空间信息对匹配点对进行判断，从而进行外点去除。该算法首先构造了中值K邻接图及邻接矩阵，然后给每个特征点构建权重矩阵，根据权重值的大小进行多次迭代筛选内点和外点。该算法在配准成功率上优于现有其他方法，但由于筛选内点的条件过于苛刻，导致配准匹配点对数量太少，从而降低了配准精度。

发明内容

为了解决现有多源图像配准方法提取的配准点对数量少和配准精度不高的问题，本发明提供一种基于深度学习和人工设计特征相结合的多源图像配准方法。首先采用传统的人工设计特征点提取方法来提取匹配点对，通过改进的加权图变换算法去除误匹配点对后，得到匹配点对集合；再以匹配点对集合中的匹配点对坐标为中心，分别在基准图像和待配准图像中截取固定大小的图像块得到匹配图像块集合；然后，构建基于深度卷积网络的图像块相似性度量网络，并使用自建的多源匹配图像数据集对整个模型进行预先训练，再使用前面获得的匹配图像块集合对预训练网络模型进行微调，得到最终的相似性度量模型；最后，以此网络作为相似性度量手段，对基准图像和待配准图像中的所有图像块进行相似性度量，计算得到变换矩阵，并完成图像配准。本发明方法通过传统提取特征匹配对的方式和深度学习的结合来进行相似性度量，提高了图像配准的精度。

一种基于深度学习和人工设计特征相结合的多源图像配准方法，其特征在于步骤如下：

步骤1：输入多源图像对，分别记为基准图像和待配准图像，采用传统人工设计特征点提取和匹配方法，分别对输入图像进行特征点提取和匹配，得到初步的特征点集P和P′，其中，P＝{p₁,…,p_N}是基准图像的特征点集合，P′＝{p′₁,…,p′_N}是待配准图像的特征点集合，两个集合中相同下标的两个元素p_i和p_i′为一对匹配点，i＝1,…,N，N为集合P中的特征点个数。