[发明专利]基于对抗生成网络的SAR图像和可见光图像的模式转换方法

摘要

本发明一种基于对抗生成网络将SAR图像转换为可见光图像的模式转换方法，首先，提取同一位置的卫星图像的特征向量，将其作为SAR图像的先验信息；然后将该先验信息和SAR图像一同输入到生成器中，生成具有SAR图像目标的可见光图像。其次，训练一个生成对抗网络中的判别器，采用公式LGAN(GAB，D，A，B)＝Eb～B[log D(b)]+Ea～A[log(1‑D(GAB(a)))]作为判别损失。最后，判断训练的对抗生成网络是否有模型折叠的错误，即不同的SAR图像输入，生成器的输出大部分只是同一张可见光图像。同时训练了另一个生成器，采用生成损失比较两幅图像的特征相似度。生成损失为LGAN(GAB，GBA，A，B)＝Ea～A[||GAB(GBA(a))‑a||1]。网络训练完成时，判别损失和生成损失的曲线趋于稳定，判别损失不再增大，生成损失不再减小。

主权项

1.一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法，其特征在于，包括如下步骤：步骤1：获取SAR图像的先验信息：基于神经网络的方法，提取同一位置的卫星图像的特征向量，作为SAR图像的先验信息，从而使生成对抗网络产生的可见光图像中的目标更清晰；步骤2：生成器生成可见光图像：设计的生成器有两个输入接口，第一个接口接收SAR图像，第二个接口接收步骤一提取到的卫星图像的特征向量，然后经过编码器、转换器和解码器的作用，生成一幅可见光图像；步骤3：判别器判别可见光图像：将生成器输出的图片输入到训练好的判别器D中，判别器D会产生一个分值d；输出越接近目标域中的图像，d的值越接近1；否则d的值越接近0；通过判别器D，来判断生成的图像是不是可见光图像；判别器D的判断是通过计算判别损失来完成的；步骤4：验证生成图片的特征相似性：由于判别器D只能判断生成器生成的图片是不是可见光图像风格的，对图片中的目标特征并不能很好的判别；为了防止产生模型折叠Mode Collapse，即生成器具有记忆性；同时训练另一个生成器，将步骤二中生成器生成的可见光图像转为SAR图像，两个生成器的网络架构完全相同；通过计算生成损失来验证生成图片的特征相似性。