[发明专利]一种基于空频特征一致性的SAR图像到光学图像映射的方法

权利要求书

1.一种基于空频特征一致性的SAR图像到光学图像映射的方法，其特征在于，

(1)针对遥感图像的观测结果与人类所期待的地理信息之间无法用简单的数学模型去描述和转化，验证利用GAN将图像由SAR模态映射到光学模态的可行性；

(2)针对SAR图像与光学图像之间显著的物理属性差异，构建一个SAR-光学图像映射模块，用多个“卷积-归一化-线性整流”单元跳跃连接而成的编码-解码子模块，实现特征的提取和映射；

(3)针对GAN固有的上采样操作给图像频谱带来的棋盘效应，提出基于离散余弦变换的损失函数，从频域角度对映射过程加以规范；

其包括以下步骤：

(1)对图像预处理，包括采用加权平均法将原始光学遥感图像灰度化、对原始数据集进行场景分类、划分训练集和测试集；

(2)构造基于GAN的SAR-光学图像映射模块，包括基于跳跃连接的生成器和基于马尔科夫随机场的判决器；

(3)设计基于空频特征一致性的损失函数，包括图像建模的结构化损失和离散余弦变换损失；

(4)在数据集上进行训练和测试，包括算法可行性验证、损失函数对比、生成器结构对比和判决器感受野对比；

所述的GAN由一个生成器和一个判决器组成，生成器从潜在空间中随机采样作为输入，输出与真实样本相近似的结果，判决器致力于将生成结果从真实的样本中辨别出来；

所述的SAR-光学图像映射模块由三个子模块构成，分别是：SAR图像特征编码子模块、SAR-光学图像特征映射子模块、光学图像特征解码子模块；

所述的棋盘效应由生成对抗网络的编码子模块固有的上采样操作所致，频谱堆叠和高频滤波带来的图像模糊化是问题的关键。

2.根据权利要求1所述的方法，其特征在于，所述的SAR-光学图像映射模块，主要包括，

(1a)SAR图像特征编码子模块通过卷积层的降采样，从输入的原始SAR图像中获取其编码表示，并对SAR图像中的高级语义信息进行特征提取；

(1b)SAR-光学图像特征映射子模块将输入的SAR图像编码张量映射到光学模态，并传递给下一个子模块；

(1c)光学图像特征解码子模块利用与编码子模块相反的转置卷积结构，对输入的编码张量进行上采样，将其转化为和原始SAR图像的大小相同的光学图像；

(1d)生成器整体采用基于跳跃连接的U-Net结构，编码子模块和解码子模块的每一个单元都被建立相互连接，共享不同分辨率的像素级信息，既能避免参数冗余，又能在每一个单元的进程中监测通道内SAR图像编码张量和光学图像编码张量的对应关系；

(1e)判决器整体采用基于图像块的PatchGAN结构，将图像分割成一个个相互独立的大小相同的图像块，每个图像块的判决结果取均值为整张图像的判决结果，该方式有利于关注图像的局部细节特征。

3.根据权利要求1所述的方法，其特征在于，所述的基于空频特征一致性的损失函数，主要包括，

(1a)图像建模的结构化损失，视为SAR图像到光学图像映射过程在空间域的约束，以对抗性损失作为其表示形式：

L_cGAN(G，D)＝E_x，y[log D(x，y)]+E_x，z[log(1-D(x，G(x，z)))] (1)

其中，G表示生成器，D表示判决器，z是随机噪声向量，x是输入的SAR图像，G(x，z)是生成的光学图像，y是真实的光学遥感图像；

(1b)离散余弦变换损失，视为SAR图像到光学图像映射过程在频域的约束，避免了离散傅里叶变换带来的虚部计算麻烦，以矩阵的L1范数作为其表达形式：

L_DCT(G，D)＝||DCT(G(x，z))-DCT(y)||₁ (2)

(1c)生成器和判决器的博弈过程：

其中，λ_DCT决定了离散余弦变换损失的权重。