[发明专利]一种基于生成对抗网络的红外可见光图像融合去噪系统

说明书

本发明公开了一种基于生成对抗网络的红外可见光图像融合系统，本发明通过将源图像进行加噪声处理后再输入生成器，而判决器直接输入未添加噪声的源图像和生成器生成的融合图像的方法进行训练，有效抑制了源图像的噪声；融合模型中包括一个生成器和两个判决器，两个判决器分别将红外源图像、可见光源图像和融合图像进行判决，有效保留了两图像各自的有用信息；基于VGG‑19网络结构对可见光源图像和融合图像提取特征后再输入判决器，有效提取了可见光图像的深度特征，保留了更多的特征信息。本发明得到的融合结果有效保留了可见光图像的细节信息和红外图像的热辐射信息且起到了去噪的作用，有良好的融合效果。

技术领域

本发明属于图像融合领域，尤其是涉及一种基于生成对抗网络的红外可见光图像融合去噪系统。

背景技术

图像融合是将两幅或以上的相同场景下的不同模式的图像融合到一起获得一幅信息更为全面的图像，以此来提高图像的利用率。红外图像是由红外传感器获取的能直观反映出图像的热辐射信息的图像，但具有分辨率较低的缺点，而可见光图像中含有丰富的细节信息，但在能见度较低或受光照、角度等自然因素影响会导致对目标成像比较困难，因此选择恰当的融合方法将红外图像跟可见光图像进行融合即可集二者的优点于一张图，使其具有分辨率和对比度都较高且不受能见度等因素影响的特点。融合后的图像可被应用在安防监控、电力设备的实时监测等场景，可有效提高各方面的工作效率。

主流的图像融合方法有基于多尺度分解的融合方法、基于显著性的融合方法和基于优化模型的融合方法，但以上三种特征分别有不够凸显红外目标等对比度信息、依赖显著性提取方式的设计和方法复杂且耗时较长的缺点，因此基于深度学习的方法被引入到图像融合领域中。基于深度学习的图像融合方法主要分为基于卷积神经网络和生成对抗网络，卷积神经神经网络是通过逐层提取特征再设计合适的融合规则进行融合并重构出融合图像。但卷积神经网络最大的缺点是其在训练过程中需要融合图像数据集进行监督训练，但融合的标准在红外可见光图像融合中是很难获得的，而生成对抗网络是通过网络中生成器和判决器的对抗来融合图像，无需建立融合标准，因此生成对抗网络越来越多的被应用到图像融合中。目前基于生成对抗网络的融合方法大多采用一个判决器，该类方法会将融合图像更趋近于其中一张源图像而丢失另一张源图像的部分有用信息，此外，大多源图像均是带有噪声的，融合后会将源图像的噪声继承到融合图像中，进而导致融合图像的质量较低。

发明内容

本发明旨在现有技术中存在的上述技术问题。为此，本发明提出一种基于生成对抗网络的红外可见光图像融合去噪系统，能够提高融合图像的质量并将更多的有用信息继承到融合图像中去。

根据本发明的第一方面实施例，提供了一种红外可见光图像融合去噪系统，包括：数据采集模块将采集到的第一红外可见光图像对通过数据传输模块输入到融合模块中，其中，所述融合模块是通过训练数据训练出来的融合模型中的生成器，所述训练数据为第二红外可见光图像对，且所述训练数据是经过对第二红外可见光图像对进行预处理后再参加训练；获取所述融合模块的输出信息，其中，所述输出信息是通过将第一红外可见光图像对输入到融合模块得到的经过去噪并融合以后的融合图像。

进一步地，所述第一红外可见光图像和所述第二红外可见光图像对均为已配准好的图像对，无需再次配准。

进一步地，所述融合模型包括生成器G、第一判决器D_ir和第二判决器D_vi，所述融合模型在所述生成器G、第一判决器D_ir和第二判决器D_vi之间的对抗学习中训练成功。

进一步地，所述对第二红外可见光进行图像预处理操作，以生成所述目标红外可见光图像对，包括：对所述第二红外可见光图像对进行裁剪操作，以生成第一目标红外可见光图像对。

进一步地，所述对第二红外可见光进行图像预处理操作，以生成所述目标红外可见光图像对，还包括：对所述第二红外可见光图像对进行添加噪声操作、裁剪操作，以生成第二目标红外可见光图像对。