[发明专利]基于对抗生成网络的SAR图像和可见光图像的模式转换方法

权利要求书

1.一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法，其特征在于，包括如下步骤：

步骤1：获取SAR图像的先验信息：

基于神经网络的方法，提取同一位置的卫星图像的特征向量，作为SAR图像的先验信息，从而使生成对抗网络产生的可见光图像中的目标更清晰；

步骤2：生成器生成可见光图像：

设计的生成器有两个输入接口，第一个接口接收SAR图像，第二个接口接收步骤一提取到的卫星图像的特征向量，然后经过编码器、转换器和解码器的作用，生成一幅可见光图像；

步骤3：判别器判别可见光图像：

将生成器输出的图片输入到训练好的判别器D中，判别器D会产生一个分值d；输出越接近目标域中的图像，d的值越接近1；否则d的值越接近0；通过判别器D，来判断生成的图像是不是可见光图像；判别器D的判断是通过计算判别损失来完成的；

步骤4：验证生成图片的特征相似性：由于判别器D只能判断生成器生成的图片是不是可见光图像风格的，对图片中的目标特征并不能很好的判别；为了防止产生模型折叠ModeCollapse，即生成器具有记忆性；同时训练另一个生成器，将步骤二中生成器生成的可见光图像转为SAR图像，两个生成器的网络架构完全相同；通过计算生成损失来验证生成图片的特征相似性。

2.根据权利要求1所述的一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法，其特征在于：卫星图像的特征提取是通过卷积层来提取特征，通过池化层对特征进行压缩；

卷积操作提取特征：假定卷积层的输入特征图F_in的参数为W_in×H_in×C_in，W_in表示输入特征图的宽度，H_in表示输入特征图的高度，C_in表示输入特征图的通道数；卷积层的卷积参数为K,S,P,Stride，K表示卷积核的数目，S表示卷积核的宽度和高度，P表示对输入特征图进行补零操作，P＝1表示对输入特征图的周围补一圈0，Stride表示卷积核在输入特征图上的滑动步长；则卷积层的输出特征图F_out的参数为W_out×H_out×C_out，W_out表示输出特征图的宽度，H_out表示输出特征图的高度，C_out表示输出特征图的通道数，其参数计算如下：

池化层压缩特征：采用最大池化层，即在对特征图进行下采样时，选取2×2格子中值最大的数传递至输出特征图中。

3.根据权利要求2所述的一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法，其特征在于：卷积核的大小为3×3，P＝1，Stride＝1，保证输入特征图和输出特征图的大小保持一致。

4.根据权利要求2所述的一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法，其特征在于：池化操作中，输入、输出特征层的通道数不变，输出特征图的大小是输入特征图大小的一半。

5.根据权利要求1所述的一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法，其特征在于：将SAR图像输入到编码器中，编码器提取SAR图像的特征信息，以特征向量表示。

6.根据权利要求1或5所述的一种基于对抗生成网络的SAR图像和可见光图像的模式转换方法，其特征在于：编码器有三个卷积层组成，分别为一个具有32个滤波器和步幅1的7*7的卷积层，一个具有64个滤波器和步幅2的3*3的卷积层和一个具有128个滤波器和步幅2的3*3的卷积层；将一个尺寸为[256,256,3]的SAR图像，输入到设计好的编码器中，编码器中不同大小的卷积核在输入图像上移动并提取特征，得到尺寸为[64,64,256]的特征向量。