[发明专利]基于深度学习的异源图像匹配方法

说明书

本发明提供的基于深度学习的异源图像匹配方法，首先制作异源图像块数据集；图像预处理；获取图像块特征图；通过特征图得到特征向量；特征图的融合并归一化；训练图像匹配网络；预测匹配概率；本发明有效克服了现有技术中异源图像块匹配过拟合的问题，极大的提高了网络的性能，提升了网络的训练效率，增强了网络的鲁棒性。本发明可应用于异源图像配准、图像追踪、多视角重建等领域。

技术领域

本发明属于图像处理技术领域，具体涉及基于深度学习的异源图像匹配方法。

背景技术

由于同一目标的不同设备所获取的图像，不仅可以提供更丰富的信息，还可以克服单一数据源自身固有的缺陷，因此多源图像研究越来越受到人们的欢迎。在本文中，我们重点研究多源数据库的相似性匹配问题，并用可见光和近红外公开数据集验证算法的有效性，部分数据请参见图1。由于可见光和近红外交叉谱图像对在同一目标像素值之间的非线性关系，导致此类问题要比同源可见光图像匹配问题更加复杂。

现阶段，基于深度学习的图像匹配问题大致分为两个方向。一种是使用深度卷积神经网络提取patch块的高级特征，再用全连接层对所提取的特征进行分类，判断图像块是否匹配。另一种是利用较浅卷集合提取图像块的轮廓边缘特征得到特征向量，最后通过计算特征向量之间的距离(如欧氏距离)来判断图像块是否匹配。

Xufeng Han等人发表的论文“MatchNet:Unifying Feature and MetricLearning for Patch-Based Matching”(Computer Vision and Pattern Recognition(CVPR),2015IEEE Conference on.IEEE,2015:3279-3286.)提出了一种基于深度卷积神经网络的图像匹配方法。该方法先由两个共享参数的卷积神经网络分别提取一对图像块的特征，然后将两个特征级联，最后由全连接层对级联后的特征向量进行二分类，进而判断该patch对是否匹配。但由于卷积神经网络提取的特征向量丧失了图像大量的空间信息，导致最终的图像块匹配准确率不高。

Cristhian A.Aguilera等人发表的论文“Cross-spectral local descriptorsvia quadruplet network”(Sensors,2017,17(4):873.)中提出了四分支共享参数的网络模型。网络每次输入两对不相同的图像块，两两组合可以得到四个负样本和两个正样本。该方法使用两层卷积层提取图像块的低级特征(如边缘、角点等)，将卷积神经网络所提取的特征视为图像块的特征描述子，并通过每对图像块对应特征向量之间的欧氏距离的比率来判断图像块是否匹配。但这种方法无法发挥深度网络的优秀性能，而且使用欧氏距离作为损失函数，会使网络不易收敛到最优解。

发明内容

本发明提供的基于深度学习的异源图像匹配方法，解决了现有异源图像匹配时存在，使用双分支结构不利于多源数据间的相互融合，此外，级联的特征向量丧失了大量的空间信息，准确率难以提升的问题。

为了达到上述目的，本发明采用的技术方案是：

本发明提供的基于深度学习的异源图像匹配方法，包括以下步骤：

步骤1)，采用VIS-NIR数据集将所需匹配的异源图像制作数据集，得到一组训练集和八组测试集；

步骤2)，将所有需要匹配的异源图像进行预处理，得到预处理后的异源图像；

步骤3)，获取图像块特征图：将预处理后的每对异源图像中的图像块A和图像块B进行左右拼接，拼接后采用改进的VGG网络提取特征，得到输入图像的特征图；接着将所得的特征图左右均分，则分别得到与图像块A对应的特征图V和与图像块B对应的特征图N；

步骤4)，特征图融合：将步骤3)所得的特征图V和特征图N进行做差运算，并将做差后的特征图进行归一化处理，得到融合后的特征图；