[发明专利]一种多模态遥感图像领域自适应无监督匹配方法

权利要求书

1.一种多模态遥感图像领域自适应无监督匹配方法，其特征在于：具体包括以下步骤：

步骤一：改进孪生匹配网络模型：利用一个基于卷积神经网络的孪生网络模型，实现合成孔径雷达(SAR)和光学图像的匹配，两种图像同时输入到网络中，并生成两个特征图，之后基于模板的特征图和基于参考图像的图进行卷积，卷积结果表示为匹配后的热力图，接着利用热力图求取最大值的位置，即为匹配结果；为迭代训练参数，根据匹配真实值生成相同尺寸的匹配热图，同时设计用于网络参数更新的损失函数；

步骤二：旋转缩放不变层：对旋转和尺度缩放两个角度标注中的特征表示进行模拟，

首先，选择角度组合为：T_theta＝(T₁，T₂，…，T_m)；而尺度缩放组合表示为：A_theta＝(A₁，A₂…，A_n)；对于任意的输入图像，可以将SAR图像分支的图像特征映射扩展到具有旋转缩放多样性的特征集F中，其中的

然后，通过组卷积运算得到多维的匹配热力图，经过组卷积处理后，每个热力图层代表了每个维度的匹配结果，匹配分数的峰值大小反映匹配结果的可信对；

接着，引入具有三层卷积块的回归模型来提取相邻层的峰值局部特征，对其进行分类，从而获取更精确的峰值特征；

最后，采用一个全连接层来输出最匹配的旋转角度和缩放尺度，对应的峰值位置便是匹配位移的输出；

步骤三：无监督自学习领域自适应：

首先，通过训练数据集对基于孪生网络的匹配模型进行训练，然后将该模型应用于目标数据集，从而生成伪标签；

然后，利用生成的不同分辨率的新目标图像，将具有多个分辨率的注释与训练数据集相结合，进一步微调匹配模型，在训练过程中，伪标签的更新和模型的微调重复迭代数次；

接着，调整训练据集和目标数据集之间的训练权重，目标数据集的权重逐渐增加，模型参数平稳移动，模型通过真标签和伪标签的混合进行微调；

最后，逐步改变源数据集和目标数据集的训练权重，增强了模型的泛化能力；

步骤四：多分辨率样本直方图匹配：

首先，将训练数据的多模态图像映射到目标域的图像，灰度参考图像Ir和目标图像It，Ir和It的离散直方图分别由如下两个公式进行计算：

其中，W和H分别是图像在垂直和水平方向上的形状，i的范围为0到255；同时，累积直方图St和Sr可分别从Ht和Hr中得出：

直方图Ht根据Hr进行变换，变换函数由以下等式获得：

其中，V_t(i)＝min(I)+(i-1)V，其中V是灰度间隔宽度，p表示其中每个像素的索引，通过计算其中每个像素的T(p)，得到变换后的图像I₀；

基于孪生网络的匹配模型的参数由带标签的训练数据集，以监督方式进行训练后，由灰度直方图转换后的目标数据集和训练数据集进行协同训练，对模型参数进行微调；最后，单独使用转换后的目标数据集对模型进行微调；多分辨率无监督自学习的最终步骤如下式所示：

其中λe1和λe2是对应于训练过程中互斥的布尔权重，其中一个为1，另一个必须为0；Y_HT和Y_T分别表示带有转换目标数据和原始目标数据的伪标签集；k是不同的图像分辨率级别，范围从0到m，m是分辨率级别；Hs是基于直方图匹配方法的数据集映射模型；在训练过程中，λe1首先设置为1，而λe2设置为零；在10个迭代之后，λe2变为1，λe1设置为0；λex的变化代表了渐进匹配的训练步骤。

2.如权利要求1所述的一种多模态遥感图像领域自适应无监督匹配方法，其特征在于：步骤一中的孪生神经网络包含两个相同的子网络，所述子网络具有相同的模型配置，同时具有一致的模型参数和权重，在模型的训练阶段，两个网络的参数的更新在两个子网之间进行镜像。