[发明专利]基于图像转换的异源图像块匹配方法

权利要求书

1.基于图像转换的异源图像块匹配方法，其特征在于，包括以下步骤：

步骤1)、根据已配准的光学图像和SAR图像，获取训练样本，得到生成对抗网络的训练样本和匹配网络的训练样本；

步骤2)、构建图像转换网络，所述图像转换网络，包括生成器网络和判别器网络；

步骤3)、训练图像转换网络：将步骤1)得到的生成对抗网络的训练样本对步骤2)构建的图像转换网络进行训练，得到生成器网络对应的权重；

步骤4)、构建特征提取和匹配网络；

步骤5)、训练特征提取和匹配网络，得到构建的特征提取和匹配网络的训练权重；

步骤6)、预测匹配结果：首先，将步骤1)中得到的匹配网络测试样本中SAR图像块进行转换，得到测试样本的伪光学图像块；其次，将步骤5)中得到的特征提取和匹配网络权重加载到步骤4)构建的网络中，利用步骤1)得到的匹配网络测试样本中的光学图像块和伪光学图像块组合成图像块对，输入到加载好权重的特征提取和匹配网络中进行匹配结果预测，输出图像块对中心点的预测匹配概率，根据预测的匹配结果计算网络的匹配精度；

步骤4)中，特征提取和匹配网络的构建，如以下步骤：

(4a)构建特征提取网络：包含三层卷积，每层卷积后都接有一层2*2的最大池化层，三层卷积层中从第一层卷积至第三层卷积所对应的滤波器个数分别为32、64和128，每层卷积的滤波器大小均为3*3；

(4b)构建匹配网络：包含一层卷积和三层全连接层，每层卷积后都接有一层2*2的最大池化层，卷积层的滤波器个数为256，滤波器大小都是3*3；三层全连接层中从第一层至第三层所对应的节点数分别为512、128和1；

步骤5)中，特征提取和匹配网络的训练，包括以下步骤：

(5a)获得SAR图像块的转换图像块：将步骤3)得到的生成器权重加载到步骤2)构建的生成器网络中，然后将步骤1)中得到的匹配网络训练样本中图像块对的SAR图像块输入到加载好权重的生成器网络中，得到SAR图像块对应的转换图像块，即伪光学图像块；

(5b)采用步骤1)中得到的匹配网络训练样本中图像块对的光学图像块和步骤(5a)获得的伪光学图像块组合成图像块对，对步骤4)构建的特征提取和匹配网络进行训练，得到构建的特征提取和匹配网络的训练权重。

2.根据权利要求1所述的基于图像转换的异源图像块匹配方法，其特征在于，步骤1)中获取训练样本的方法如下：

(1a)、读入已配准的异源图像，异源图像包括SAR图像和光学图像；

(1b)、采用Harris方法对光学图像进行角点检测，并以检测出来的角点A的坐标为中心点，以固定值w为边长在光学图像上进行切块，得到光学图像块；

(1c)、在SAR图像上取与角点坐标相对应的特征点B，同时，在SAR图像上再随机任意选取一特征点C，接着在SAR图像上分别以特征点B和特征点C的坐标为中心，在SAR图像上以固定值w为边长进行切块，分别得到两个相应的SAR图像块，然后将得到的两个SAR图像块分别与角点A对应的光学图像块进行组合，得到训练数据的正样本和负样本图像块对；

(1d)、将SAR图像旋转任意范围内的角度，重复步骤(1c)；

(1e)、将得到的所有正样本作为生成对抗网络的训练样本；

(1f)、将得到的所有正、负样本进行混合，其中，将混合后样本的3/4作为匹配网络的训练样本，混合后样本的1/4作为其测试样本。

3.根据权利要求1所述的基于图像转换的异源图像块匹配方法，其特征在于，步骤2)中，图像转换网络的构建，如以下步骤：

(2a)构建生成器网络：包含三层卷积和三层反卷积，其中，三层卷积中的每层卷积后都接有一层2*2的最大池化层；三层卷积中从第一层卷积至第三层卷积所对应的滤波器个数分别为32、64和128；三层反卷积中从第一层卷积至第三四层卷积所对应的滤波器个数分别为64、32和1，每层卷积的滤波器大小均为3*3；

(2b)构建判别器网络：包含三层卷积和三层全连接层，三层卷积中的每层卷积后都接有一层2*2的最大池化层；卷积层中从第一层卷积至第三四层卷积所对应的滤波器个数分别为32、64和128，每层卷积的滤波器大小均为3*3；三层全连接层中从第一层至第三层所对应节点数分别为64、32和1。