[发明专利]一种基于空频特征一致性的SAR图像到光学图像映射的方法

说明书

本发明公开了一种基于空频特征一致性的SAR图像到光学图像映射的方法。在网络结构设计中，使用了基于跳跃连接的生成器和基于马尔科夫随机场的判决器，跳跃连接实现了编码单元和解码单元的像素级互通，避免了参数冗余，PatchGAN实现了不同大小感受野的图像判决；在损失函数设计中，提出了基于离散余弦变换的损失函数，利用图像的频域特征来规范映射过程，避免了传统离散傅里叶变换的复数运算。本发明在缺乏光学遥感图像的情况下，能将原始SAR图像映射为与之场景对应的光学图像，实现缺失模态的弥补，并从空频特征相结合的角度提升了映射质量。本发明有利于SAR图像资源的充分利用，促进SAR图像解译，具有推广应用前景。

技术领域

本发明属遥感图像处理技术领域，涉及一种基于空频特征一致性的SAR图像到光学图像映射的方法。具体而言，在映射的过程中利用图像的空间域和频域特征，从多个角度规范映射的方向，促进映射效果的提升，所得结果有利于辅助专业人员进行SAR图像的解译并拓宽其应用领域。

背景技术

随着航空航天遥感技术的快速发展，对地观测系统被广泛应用于工业、农业、林业等领域，近红外波段的光学遥感图像和微波波段的合成孔径雷达(SAR)遥感图像成为对地观测的有效手段。光学遥感图像接近人眼感知，处理技术相对成熟，但是容易受到自然、地理环境和大气气象条件的影响，获取难度较大；SAR图像依靠的微波波段电磁波能够穿过雾霾、云层等遮盖物，具有全天时全天候的特点，但是其不易被解读，造成大量影像资源的浪费。SAR图像的不易解读性由多种因素所致：一方面，SAR图像中存在很多相干斑噪声，这由分辨率单元中单个散射体信号的相干相加导致，这样的高频噪声影响了人眼所认知的图像特征的表达，让SAR图像不易于识别；另一方面，SAR图像包含固有的几何失真，这由距离依赖性和雷达信号波长(毫米到厘米级)相关特征引起，而人眼对可见光的透视投影和纹理等图像信息更熟悉。尽管目前有一些提高SAR图像可解释性的方法，例如，提高图像的空间分辨率，但是它的成像机理不会改变，未经过训练的人依然无法从SAR图像中获取足够多的信息。

利用生成对抗网络(GAN)实现不同类型的图像映射一直是图像处理的研究热点之一，作为一个概率生成模型，GAN将统计学习理论与深度神经网络紧密地结合在一起，通过学习大量的数据来分析数据内部的分布，在风格转换、季节转换、图像增强等任务中展现了出色的效果。近年来，越来越多的研究把GAN用于SAR图像的解译。研究结果表明，若能将SAR图像转换为光学表示，就能充分利用人眼对光学遥感图像的熟悉程度和人工智能等新兴技术，解读原始SAR图像所包含的信息，实现SAR图像资源的充分利用。映射过程旨在从SAR图像的突出几何特征中提取丰富的内容信息，并与光学图像的风格信息相结合。尽管两种图像的频段不同、成像机理不同、反映的成像对象的目标特性不同，但是映射网络基于同场景光学图像和SAR图像的学习训练而成，融合了SAR图像到光学图像的映射关系，所以只要对网络进行优化设计，并进行足够的学习训练，就可以在缺乏光学模态的情况下，通过输入SAR图像，获得对应的高逼真度光学图像。

然而，目前的图像映射更多关注模型的鲁棒性和泛化能力，而缺乏针对性。SAR图像存在较严重的相干斑噪声和几何失真，这些特殊的物理属性应该在特征提取过程中被特殊考虑。同时，生成对抗网络的编码过程存在不可避免的上采样操作，由频谱的计算原理可知，上采样操作在频域上表现为频谱的搬移，这将在生成图像的频谱图上产生棋盘效应，严重影响图像的生成质量。

发明内容

发明目的：本发明所要解决的技术问题是针对SAR图像特殊的物理属性和GAN固有的编码特性引起的弊端，研究基于空间域和频域特征一致性的SAR图像到光学图像映射效果改进。本发明方法与现有技术相比，能够实现生成图像的结构特征与SAR图像保持一致，纹理特征接近目标光学图像的效果，并且具有较强的鲁棒性和跨场景泛化能力。

具体的，本发明的基于空频特征一致性的SAR图像到光学图像映射的方法，包括以下方面：

(1)针对遥感图像的观测结果与人类所期待的地理信息之间无法用简单的数学模型去描述和转化，验证利用GAN将图像由SAR模态映射到光学模态的可行性；