[发明专利]基于深度学习的异源图像匹配方法

权利要求书

1.基于深度学习的异源图像匹配方法，其特征在于，包括以下步骤：

步骤1)，采用VIS-NIR数据集将所需匹配的异源图像制作数据集，得到一组训练集和八组测试集；

步骤2)，将所有需要匹配的异源图像进行预处理，得到预处理后的异源图像；

步骤3)，获取图像块特征图：将预处理后的每对异源图像中的图像块A和图像块B进行左右拼接，拼接后采用改进的VGG网络提取特征，得到输入图像的特征图；接着将所得的特征图左右均分，则分别得到与图像块A对应的特征图V和与图像块B对应的特征图N；

步骤4)，特征图融合：将步骤3)所得的特征图V和特征图N进行做差运算，并将做差后的特征图进行归一化处理，得到融合后的特征图；

步骤5)，训练图像匹配网络：用全连接层和交叉熵损失函数对步骤4)中所得的融合后的特征图进行二分类，得到匹配网络的权重；

步骤6)，预测匹配概率：将步骤5)中训练好的匹配网络权重载入到模型中，并依次读取所有测试集数据，得到softmax分类器输出的异源图像匹配和不匹配的预测值；

其中，步骤5)中，计算步骤4)中得到的两个特征向量的平均欧氏距离，以欧氏距离为自变量，计算对比损失；

将步骤4)中得到的融合后的特征图经过全连接层，再用softmax分类器进行二分类，并计算交叉熵损失；

交替重复优化对比损失和交叉熵损失，直到各自的损失大小保持稳定，得到匹配网络的权重，其中，对比损失用于更新特征提取过程中的参数，交叉熵损失用于更新全局参数。

2.根据权利要求1所述的基于深度学习的异源图像匹配方法，其特征在于，将步骤3)所得的特征图V和特征图N分别进行全局平均池化，得到与图像块A对应的特征向量v和与图像块B对应的特征向量n；

同时，根据所得的特征向量v和特征向量n，使用对比损失函数来最大化不匹配图像块特征向量的平均欧式距离、以及最小化匹配图像块特征向量的平均欧氏距离。

3.根据权利要求2所述的基于深度学习的异源图像匹配方法，其特征在于，所述的对比损失函数的计算过程，包括有如下步骤：

(6a1)：记特征图V和特征图N经过全局平均池化后的特征向量分别为v和n；则特征向量的平均欧氏距离D(n,v)为：

其中，k表示特征向量的维度；

(6a2)：采用对比损失函数式(1)来最大化不匹配图像块特征向量的平均欧式距离以及最小化匹配图像块特征向量的平均欧式距离：

其中，y表示输入数据的真实标签，Q为一个常数，e的自然常数，L(y,n,v)为对比损失函数。

4.根据权利要求1所述的基于深度学习的异源图像匹配方法，其特征在于，步骤4)中的特征图融合的方法，具体包括有如下步骤：

(4a)记单张图像块A对应的特征图为V，单张图像块B对应的特征图为N，则融合后的特征图为：F＝N-V；其中，V和N尺寸相同，且均为三维矩阵；

(4b)将每个批次的特征图β＝{F_1...m}进行归一化处理：

其中，m表示每个批次输入成对异源图像块的数量，F_i表示第i个输入数据对应的融合后的特征图，γ和λ分别表示缩放尺寸和偏移量，ε为一个常数，μ_β和σ_β²分别表示每个批次的特征图β＝{F_1...m}的均值和方差，表示特征图F_i归一化后的值为了保证特征图的多样性，R_i为每个融合后的特征图F_i的归一化结果。

5.根据权利要求1所述的基于深度学习的异源图像匹配方法，其特征在于，所述的交叉熵损失函数的计算方法，按如下步骤进行：

(5b1)：记融合后的特征图R_i经过全连接层和softmax分类器后，得到预测输入数据的正样本和负样本，其中，记正样本的概率为则负样本的概率为

(5b2)：对于单个样本交叉熵损失为：

其中，y为输入数据的真实标签，为网络预测输入数据为匹配样本的概率值。