[发明专利]一种基于多模式特征的红外与可见光图像融合方法

说明书

本发明公开了一种基于多模式特征的红外和可见光图像融合方法，包括：1.提取多模式特征的编码器‑解码器网络，2.使用熵、梯度和显著性对多模式特征进行度量并设计自适应loss函数，3.构建嵌入Transformer融合策略的融合权重学习模型，4.将红外图像的显著性图作为label，加入该label作为融合网络优化的区域选择，5.将所述嵌入Transformer融合策略的融合权重学习模型与编码器解码器级联，构建红外与可见光图像融合网络并训练。该方法利用Transformer捕获多尺度特征的全局关联性，兼顾局部与全局信息，提升融合图像整体视觉效果；利用多模式自适应融合策略，保留图像多模式特征信息，提高融合图像的质量。

技术领域

本申请属于图像融合领域，具体涉及一种基于多模式特征的红外与可见光图像融合方法。

背景技术

图像融合是指将不同类型传感器获得的图像进行结合，生成一幅鲁棒的或信息丰富的图像，以便于后续的处理或决策。复杂应用程序需要有关特定场景的全面信息，以增强对该场景的全面理解。单模式传感器仅能感知目标的单一场景信息，无法对目标进行多粒度感知。因此，融合技术在现代化应用和计算机视觉中发挥着越来越重要的作用。

由于物理传感器的局限性，红外与可见光图像所捕获的场景信息有很大不同。可见光图像捕获反射光，此类图像通常具有高空间分辨率，丰富的颜色、纹理细节和高对比度的特征，适合人类的视觉感知，但容易受光照的影响，如在恶劣天气或夜晚等光线不足的场景中，其图像质量大大下降。红外图像捕获热辐射，描述物体热辐射的红外图像能够抵抗恶劣天气、光线不足等干扰，但通常空间分辨率较低，缺乏图像纹理、颜色等信息。红外与可见光的图像融合是指将同一场景下的红外和可见光图像结合起来，利用这两种图像的互补性，生成鲁棒性强、信息量大的融合图像。红外与可见光的图像融合技术在目标检测、图像增强、视频监控和遥感等领域都有着广泛的应用。

红外与可见光的图像融合方法主要分为传统方法和深度学习方法。传统的图像融合方法主要使用多尺度变换(MST)、稀疏表示(SR)、基于显著性、混合模型和其他方法。这些方法已经取得了良好的融合性能，但特征需要手工制作、计算复杂度高等问题仍然存在。在基于深度学习的方法中，FusionGAN、Attention FGAN和Nestfuse等模型改进传统方法的缺点，但也有一定的局限性。首先，深度学习网络通常直接从前一卷积层提取特征映射，忽略全局信息，导致融合结果质量低下。其次，采用带融合策略的编码器-解码器模型中，简单的融合策略可能会使图像边缘不清晰。最后，损失函数的设计也会影响网络融合的效果。不合适的损失函数设计，不仅会减慢收敛速度，而且会使融合结果出现伪影和边界模糊等问题。

发明内容

本发明的目的在于，提供一种基于多模式特征的红外与可见光图像融合方法，该方法解决了融合过程中缺少全局信息的问题，将多模式特征进行自适应的融合，结合显著性信息，最终实现良好的融合。

为了实现上述任务，本发明采取如下的技术方案来实现的：

一种基于多模式特征的红外与可见光图像融合方法，其特征在于，包括以下步骤：

步骤1，构建特征提取和图像重构网络，基于多尺度卷积网络，通过loss函数的的引导，优化生成一个多模式特征编码器-解码器网络；

步骤2，通过所述编码器-解码器网络提取红外与可见光多模式特征，使用熵、梯度和显著性对所述多模式特征进行度量，并设计多模式自适应loss。

步骤3，构建嵌入Transformer融合策略的融合权重学习模型，并为所述融合模型的权重赋值；

步骤4，获取红外图像的显著性图作为label，加入显著性label作为融合网络优化的区域选择；

步骤5，将所述嵌入Transformer融合策略的融合权重学习模型与编码器解码器级联，构建红外与可见光图像融合网络，并采用所述显著性label和多模式loss对所述红外与可见光图像融合网络进行训练。