[发明专利]一种多模态遥感图像领域自适应无监督匹配方法

说明书

本发明公开了一种多模态遥感图像领域自适应无监督匹配方法，具体包括以下步骤：步骤一：改进孪生匹配网络模型；步骤二：旋转缩放不变层：对旋转和尺度缩放两个角度标注中的特征表示进行模拟；步骤三：无监督自学习领域自适应；步骤四：多分辨率样本直方图匹配。该发明的技术效果为采用孪生网络模型对多模态图像进行匹配，能够实现多模态图像的自动化匹配，同时提出了灰度直方图匹配算法，降低了目标数据集和训练数据集的差异，从而提高了模型在目标数据集中的匹配精度，最后采用无监督自学习技术，结合灰度直方图匹配，进一步提高了模型的匹配精度和可靠性。

技术领域

本发明涉及遥感图像的多模态匹配技术领域，具体为一种多模态遥感图像领域自适应无监督匹配方法。

背景技术

现有技术一般采用基于特征点匹配或者利用深度学习算法实现多模态图像匹配，利用特征点匹配的算法普通精度较差，无法处理多模态图像特征差异较大的情况。而利用深度学习算法普通需要大量数据作为训练数据，造成模型的泛化性不强。即在某个数据集上训练的模型，难以适应其他数据集。并且现有技术在多模态图像匹配过程中，特征点提取的质量难以保证，对图像分辨率的要求也特别高，并且匹配精度不高，模型泛化性不强。

本发明的技术方案，解决了上述现有技术存在的问题，并且达到了本模型匹配精度高、可靠性好，模型适应性强，可以适应多种分辨率和多种图像场景。

发明内容

本发明的目的在于提供一种多模态遥感图像领域自适应无监督匹配方法，以解决上述背景技术中提出的问题。

为实现上述目的，发明提供如下技术方案：一种多模态遥感图像领域自适应无监督匹配方法，具体包括以下步骤：

步骤一：改进孪生匹配网络模型：利用一个基于卷积神经网络的孪生网络模型，实现合成孔径雷达(SAR)和光学图像的匹配，两种图像同时输入到网络中，并生成两个特征图，之后基于模板的特征图和基于参考图像的图进行卷积，卷积结果表示为匹配后的热力图，接着利用热力图求取最大值的位置，即为匹配结果；为迭代训练参数，根据匹配真实值生成相同尺寸的匹配热图，同时设计用于网络参数更新的损失函数；

步骤二：旋转缩放不变层：对旋转和尺度缩放两个角度标注中的特征表示进行模拟，

首先，选择角度组合为：T_theta＝(T₁,T₂,…,T_m)；而尺度缩放组合表示为：A_theta＝(A₁,A₂…,A_n)；对于任意的输入图像，可以将SAR图像分支的图像特征映射扩展到具有旋转缩放多样性的特征集F中，其中的

然后，通过组卷积运算得到多维的匹配热力图，经过组卷积处理后，每个热力图层代表了每个维度的匹配结果，匹配分数的峰值大小反映匹配结果的可信对；

接着，引入具有三层卷积块的回归模型来提取相邻层的峰值局部特征，对其进行分类，从而获取更精确的峰值特征；

最后，采用一个全连接层来输出最匹配的旋转角度和缩放尺度，对应的峰值位置便是匹配位移的输出；

步骤三：无监督自学习领域自适应：

首先，通过训练数据集对基于孪生网络的匹配模型进行训练，然后将该模型应用于目标数据集，从而生成伪标签；

然后，利用生成的不同分辨率的新目标图像，将具有多个分辨率的注释与训练数据集相结合，进一步微调匹配模型，在训练过程中，伪标签的更新和模型的微调重复迭代数次；

接着，调整训练据集和目标数据集之间的训练权重，目标数据集的权重逐渐增加，模型参数平稳移动，模型通过真标签和伪标签的混合进行微调；

最后，逐步改变源数据集和目标数据集的训练权重，增强了模型的泛化能力；