[发明专利]一种具有区域注意力的红外与可见光图像融合方法

说明书

红外与可见光图像融合旨在利用信息互补性，融合同一场景下的热辐射、纹理细节等信息，使得融合图像内容更全面、清晰，并有利于人眼观察及后续任务等。图像融合的步骤通常为特征提取，特征融合和图像重构。本发明提出了一种具有区域注意力的融合方法。首先用编码器提取高维特征，然后设计了具有显著区域注意力的融合策略融合特征，最后用解码器重构图像。本发明旨在解决光照不足场景下的图像融合问题。结果表明本发明能够充分保留可见光图像良好的纹理细节，并利用红外图像对曝光不足的区域进行内容补充。另外，本发明对显著区域的关注使得源图像中高亮显示的区域在融合图像中仍保持高亮，达到红外和可见光图像优势互补的良好效果。

技术领域

本发明属于图像处理技术领域，特别涉及一种具有区域注意力的红外与可见光图像融合方法。

背景技术

随着硬件、软件产业的稳步发展，利用传感器采集信息，以及对信息的传输和处理能力也日渐增强。在这一背景下，基于视觉的传感器因为能够提供丰富的环境信息得到广泛应用。单一类型的传感器只具有表征某一方面的信息特征，无法满足对监测环境的全面描述，因而多传感器系统开始得到越来越多关注与应用。多源传感器成像系统完整地填补了单一传感器图像表达能力不足的空缺。目前，图像融合技术已经在遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、清晰图像重建、灾情检测与预报，尤其在计算机视觉等领域发挥着重大的应用价值。

对于视觉的多源传感器系统，红外和可见光图像可以通过相对简易的设备获取，最典型的便是红外和可见光的图像融和。由于两者成像机理不同，可见图像通常具有较高空间分辨率和图像对比度，适合于人类视觉感知，但其极易受到恶劣条件的影响，比如亮度不足、暴雨雾霾等特殊气候。然而红外图像恰好具有较好的场景抗干扰能力，并且对于温度高于环境的目标，例如行人等可以更加显著的显示出来。但通常红外图像分辨率较低，图像细节表现较差。融合两者，可以在一副图像上显示多种信息，突出目标，具有比单一图像更丰富的细节以及抵抗恶劣环境的能力。因此，红外和可见光图像融合，就是旨在将同一场景下的红外与可见光图像进行细致融合，同时保留红外图像具有热辐射信息的高亮目标以及可见光图像具有高分辨率的背景纹理细节信息，使得最终融合图像更具信息丰富性，从而更有利于人眼的识别和机器的自动探测，人类的观察审美和计算机的后续图像处理。

现有技术及其缺陷。

图像融合的一般步骤为特征提取，特征融合和特征重构，其中，特征重构是特征提取的逆过程，特征提取和融合是图像融合中最关键的两个要素。在传统方法中，多尺度变换(MST)是最为常用的图像融合方法，主要特点是能够精确表征图像的空间结构，并具有空间和频谱的一致性。并且已经有许许多多的多尺度变换被提出来，例如金字塔变换、小波变换，轮廓变换及相关变体等。除此之外，基于稀疏表示(Sparse Representation，SR)的融合算法，以及基于子空间的方法如主成分分析和独立分量分析等也被提了出来。

近年来，深度学习已在各种领域展示了最先进的性能，也已成功应用于图像融合。这些算法可以大致分为三类，基于Auto encoder(AE)的方法，基于CNN的方法，基于GAN的方法。Li等人提出了一种简单的自编码器(AE)融合架构，它包括编码器，融合层，解码器。后来他们还增加了编码器的复杂度，提出了基于自编码器的嵌套融合方法，来获得更全面的特征融合。上述方法的缺点是靠人工设计融合策略，限制了融合性能。Zhang等人通过通用网络结构，即特征提取层、融合层和图像重建层，开发了一个通用的图像融合框架，在一类复杂的损失函数的指导下学习特征提取、特征融合和图像重构。这类方法仅关注到了全局层面的融合，没有突出感兴趣的目标区域。Ma等人创造性地将GAN引入图像融合社区，它利用鉴别器强制生成器合成具有丰富纹理的融合图像。为了提高细节信息的质量和锐化热目标的边缘，他们还引入了细节损失和边缘增强损失。由于GAN训练困难，这种方法未能获得较好的融合质量，并且也无法高亮显示显著信息。

发明内容