[发明专利]基于对抗生成网络的SAR图像和可见光图像的模式转换方法

说明书

本发明一种基于对抗生成网络将SAR图像转换为可见光图像的模式转换方法，首先，提取同一位置的卫星图像的特征向量，将其作为SAR图像的先验信息；然后将该先验信息和SAR图像一同输入到生成器中，生成具有SAR图像目标的可见光图像。其次，训练一个生成对抗网络中的判别器，采用公式L_GAN(G_AB，D，A，B)＝E_b～B[log D(b)]+E_a～A[log(1‑D(G_AB(a)))]作为判别损失。最后，判断训练的对抗生成网络是否有模型折叠的错误，即不同的SAR图像输入，生成器的输出大部分只是同一张可见光图像。同时训练了另一个生成器，采用生成损失比较两幅图像的特征相似度。生成损失为L_GAN(G_AB，G_BA，A，B)＝E_a～A[||G_AB(G_BA(a))‑a||₁]。网络训练完成时，判别损失和生成损失的曲线趋于稳定，判别损失不再增大，生成损失不再减小。

技术领域

本发明属于深度学习中的图像翻译领域，涉及一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法。

背景技术

自1978年以来，合成孔径雷达(SAR)的出现已经掀起了波澜壮阔的雷达技术革命。其具有的无可比拟的全天时、全天候等诸多优点以及由此产生的广泛应用前景，吸引了雷达科学界的无数目光。继之而来的SAR相关研究构成了这次技术革命浪潮的主旋律，不同波段、不同极化乃至不同分辨率的SAR系统不断涌现。毋庸置疑，这场伟大的变革已经影响到了军用和民用的各个领域。

由于分辨率的提高，SAR的数据量呈级数增长，基于人工的信息处理及应用研究(如目标识别)面临很多困难：首先要在大范围区域中，人工判读实现基于SAR图像的地物检测、识别的任务，其任务量之大远远超过人工迅速做出判断的极限，由此带来的主观错误和理解错误不可避免。其次，SAR图像特殊的成像机理，使得目标对方位角十分敏感，较大的方位角差异将会导致完全不同的SAR图像，使得SAR图像在视觉效果上与光学图像的差异进一步加大，增加了图像解释判断的难度；再次，随着SAR传感器分辨率的不断提高，传感器模式、波段和极化方式的多元化，SAR图像中的目标信息也呈现爆炸性的增长，目标由原来单通道单极化中低分辨率图像上的点目标，变为了具有丰富细节特征和散射特征的面目标，这一方面使得对地物信息进行更细致的解释和识别工作成为了可能，同时也使得地物特征的种类和不稳定性大为增加，因而传统的信息处理和应用方法已经不能满足实际应用的需要，必须对相关的关键技术进行攻关，加速数据处理速度，提高信息提取的精度。

基于此，本发明提出一种基于对抗生成网络的方法，将SAR图像转换为具有可见光图像特征的图像模式，主要优点包括以下几个方面：第一，使用对抗生成网络中的CycleGAN网络生成图片时，我们不仅将源图像域中的SAR图像作为输入，同时提取同一位置的卫星图像的语义特征作为SAR图像的先验信息，将该先验信息作为条件同时输入到生成器中，使生成的图像不仅具有可见光的风格，而且同时具有SAR图像中看不到的目标信息；第二，为了防止对抗生成网络在训练的过程中出现模型折叠(Mode Collapse)的情况，我们训练了两个生成器，第一个生成器是通过SAR图像生成目标所需要的可见光图像，第二个生成器将生成的可见光图像重翻译为SAR图像。我们在训练的过程中，计算原始的SAR图像和生成的SAR图像之间的生成损失，通过不断减小该生成损失，避免出现训练对抗生成网络中常见的网络模型记忆错误。

发明内容

要解决的技术问题