[发明专利]基于条件生成对抗网络的光电图像转换方法

权利要求书

1.一种基于条件生成对抗网络的光电图像转换方法，其特征在于，包括如下：

(1)从数据库中获取已匹配好的可见光-红外光电图像数据集；

(2)使用已匹配的可见光-红外光电图像数据集，对条件生成对抗网络进行训练，得到适用于光电图像转换的条件生成对抗网络：

(2a)对条件生成对抗网络内部的生成网络和判别网络进行初始化操作；

(2b)使用生成网络对可见光图像进行编码和解码操作，生成红外图像，并得到对应的可见光-红外图像的转换结构；

(2c)使用判别网络对(2b)得到的可见光-红外图像的转换结构进行判断，得到转换结构的逻辑判断结果，并依据逻辑判断结果与(2b)生成的红外图像，构造条件生成对抗网络的损失函数其中L_CGAN(G,D)为条件生成对抗网络的目标函数，为生成网络的l₁范数损失函数，λ为自定义数值，它表示生成网络的l₁范数损失函数在条件生成对抗网络损失函数中所占比例；

(2d)使用Adam优化器对条件生成对抗网络的损失函数G^*进行优化，得到训练后的条件生成对抗网络；

(3)对实时获取的可见光图像，使用训练得到的条件生成对抗网络对其进行图像转换，生成该可见光对应的红外图像。

2.根据权利要求1所述的方法，其特征在于：(2a)对条件生成对抗网络内部的生成网络和判别网络进行初始化操作，其实现包括如下：

在生成网络中，将权重参数初始均值设为0，将初始方差设为0.02的正态分布；

在判别网络中，将权重参数初始均值设为0，将初始方差设为0.02的正态分布；

将两个网络的偏置参数均初始设置为0。

3.根据权利要求1所述的方法，其特征在于：(2b)中使用生成网络对可见光图像进行编码和解码操作，生成红外图像，其实现包括如下：

(2b1)使用生成网络中的8层卷积结构进行图像下采样，其中卷积核大小均为3*3，并且在每次下采样后对特征通道数加倍，以完成编码操作，得到编码特征图；

(2b2)使用生成网络中的8层的解卷积结构对(2b1)得到的编码特征图进行上采样，同时将解卷积结构的每一层与卷积结构的每一层进行对称连接，从而完成解码操作，得到生成的红外图像特征图。

4.根据权利要求1所述的方法，其特征在于：(2c中)使用判别网络对(2b)得到的可见光-红外图像的转换结构进行判断，并构造条件生成对抗网络的损失函数，其实现包括如下：

(2c1)对于一组可见光图像与对应红外图像，判别网络先将可见光图像与对应红外图像进行组合并作为网络输入，再使用判别网络中的五层卷积层对输入进行下采样,得到采样后的特征图；

(2c2)对采样后的特征图进行逻辑判断，即使用判别网络的sigmoid激活函数对(2c1)得到特征图进行非线性映射，将其特征信息压缩到0和1之间，其中：

将可见光-真实红外图像组合(x,y)所对应特征图的特征信息压缩为1，作为逻辑真，x为可见光图像，y为真实的红外图像；

将可见光-生成红外图像组合(x,G(x,z))所对应特征图的特征信息压缩为0，作为逻辑假，G(x,z)为生成网络所生成的红外图像。

(2c3)依据(2c2)的逻辑判别结果和(3c)生成的红外特征图像，构造条件生成对抗网络中的损失函数

5.根据权利要求1所述的方法，其特征在于：(2d)使用Adam优化器对条件生成对抗网络的目标函数进行优化,其实现包括如下：

(2d1)初始化条件生成网络目标函数中的参数矩阵，以及目标函数中参数梯度的一阶矩估计和二阶矩估计，即梯度均值和梯度的未中心化方差；

(2d2)进行参数迭代，即使用Adam优化器中的矩估计衰减率参数，对(2d1)目标函数中参数梯度的一阶矩估计和二阶矩估计进行更新；

(2d3)根据(2d2)得到的更新后的一阶矩估计和二阶矩估计及条件生成对抗网络中的学习率参数，对条件生成对抗网络的各参数进行更新，实现参数的动态调整，完成对条件生成对抗网络的训练。