[发明专利]基于条件生成对抗网络的光电图像转换方法

说明书

本发明提供了一种基于条件生成对抗网络的光电图像转换方法，主要解决现有技术生成红外图像纹理特征不自然和转换场景受限的问题，其方案是：从数据库中获取已匹配好的可见光‑红外光电图像数据集；使用生成网络对可见光图像进行编‑解码操作，生成红外图像并得到对应的可见光‑红外图像转换结构；使用判别网络对转换结构进行判断，并构造条件生成对抗网络的损失函数；对条件生成对抗网络的损失函数进行优化，得到训练后的条件生成对抗网络；使用训练后的条件生成对抗网络对获取的可见光图像进行转换，生成对应的红外图像。本发明生成的红外图像具有自然的图像纹理特征，符合红外辐射特性，可适应于多种转换场景下对可见光图像的转换。

技术领域

本发明属于图像处理技术领域，尤其涉及一种光电图像转换方法，可用于将可见光图像转换为红外图像。

背景技术

红外成像技术因为其目标识别能力强、制导精度高、抗干扰能力强等优势，在目标探测、监视、跟踪等方面具有广泛的应用。常规红外图像主要是通过红外热像仪针对目标场景进行拍摄得到的，然而在对于一些特殊环境下，红外热像仪所能获得的图像数据量相对不足。同时，红外热像仪应与其他仪器相比，价格仍然很昂贵，这些都限制了红外图像数据的获得，影响了红外图像的应用。

传统意义上的图像转换，需要当前场景下的材质发射率、大气温度等多种先验信息，目前提出的图像转换算法大部分都利用数据拟合、仿真模拟等方式进行红外图像反演，但由于算法自身所拟合的数据量不足，很难有效并全面获取场景的内在特性信息，致使生成的转换图像纹理不自然，缺乏真实的红外场景特性，并由于其算法的局限性，其应用场景有限。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种基于条件生成对抗网络的图像转换方法，以在多种可见光图像下，有效捕捉场景的内在目标特性信息，生成较自然的图像纹理特征，避免拟合过多的先验信息所导致的算法复杂性，有效提高图像转换效率和真实性。

实现本发明目的的技术方案是：在经典条件生成对抗网络的基础上对网络结构和损失函数加以改进，利用其内部的生成网络和判别网络具有相互制约、相互竞争的特点，生成相对真实的红外图像特性，其实现步骤包括如下：

1.一种基于条件生成对抗网络的光电图像转换方法，其特征在于，包括如下：

(1)从数据库中获取已匹配好的可见光-红外光电图像数据集；

(2)使用已匹配的可见光-红外光电图像数据集，对条件生成对抗网络进行训练，得到适用于光电图像转换的条件生成对抗网络：

(2a)对条件生成对抗网络内部的生成网络和判别网络进行初始化操作；

(2b)使用生成网络对可见光图像进行编码和解码操作，生成红外图像，并得到对应的可见光-红外图像的转换结构；

(2c)使用判别网络对(2b)得到的可见光-红外图像的转换结构进行判断，得到转换结构的逻辑判断结果，并依s据逻辑判断结果，构造条件生成对抗网络的损失函数其中L_CGAN(G,D)为条件生成对抗网络的目标函数，为生成网络的l₁范数损失函数，λ为自定义数值，它表示生成网络的l₁范数损失函数在条件生成对抗网络损失函数中所占比例；

(2d)使用Adam优化器对条件生成对抗网络的损失函数G^*进行优化，得到训练后的条件生成对抗网络；

(3)将实时获取的可见光图像，输入到(2)训练好的条件生成对抗网络中，输出其图像转换结果，即对应的红外图像。

本发明与现有技术相比，具有如下优点：

1、本发明使用神经网络对多种环境下的可见光图像的内部细节特征进行提取，并生成对应的红外图像，其特征提取过程不需要大量的先验数据，可有效避免传统图像转换算法对先验数据的依赖性以及对环境的局限性；