[发明专利]一种基于频带系数分解的图像融合方法及系统

说明书

本发明公开了一种基于频带系数分解的图像融合方法及系统，本发明的基于频带系数分解的图像融合方法与以往的图像融合方法的创新之处主要在于子带系数融合规则，其包括，低频部分先采用基于局部方向能量和匹配的融合规则、后采用基于图像显著性的融合规则进行低频子带系数融合；高频部分采用最高分解层使用基于局部方向对比度的融合规则、其他分解层使用基于局部能量匹配的融合规则进行高频带通方向子带系数融合。本发明的基于频带系数分解的图像融合系统结构简单，安装方便，最终融合图像信息较为精准，不受气象条件影响，既保留了红外图像的显著目标特征，又保留了可见光图像清晰的背景细节信息。

技术领域

本发明涉及车辆行驶路况图像信息采集处理领域，尤其涉及一种基于频带系数分解的图像融合方法及系统。

背景技术

作为多源传感信息融合技术的重要分支，图像融合技术最早出现于20世纪70年代末，1979年Daily等人进行雷达图像和Landsat-MSS图像融合；1985年，Bonn等人进行多光谱遥感图像和SPOT卫星的高分辨率图像融合。然而这些融合都是基于一个层次的空间域内，直接对图像的像素值进行选择或加权平均，信噪比低，特征不明显。

随后，多尺度分析工具被引入图像融合领域。1984年，Burt等人首次提出了基于拉普拉斯金字塔分解的单像素图像融合方法；1985年，Li等人提出基于对比度金字塔的图像融合方法来融合红外图像和SAR图像。到了90年代，小波变换被应用到图像融合领域，进一步，Ranchin等人提出基于离散小波变换的图像融合方法。小波变换在捕捉零维奇异点上效果显著，但处理二维图像时效率低下，方向上具有局限性。为此，研究人员提出了Contourlet、剪切波等多尺度变换工具，实现图像的二维变换。2002年，Do等人提出Contourlet变换，2006年，A.L.Cunha等人提出了非下采样Contourlet变换，该方法具有多尺度性、方向灵活性和平移不变性等优点。2005年，Cunha等人提出Shearlet变换，2008年，Easley等人提出非下采样Shearlet变换，具有非下采样Contourlet变换的优点，并且计算效率更高。2010年，Yang等人将稀疏表示引入图像融合领域，随后，Liu等人提出了结合多尺度分解和稀疏表示模型的图像融合方法。近年来，深度神经网络被引入了图像融合领域。2017年，刘羽等人第一次将卷积神经网络应用于多聚焦图像融合；Ma等人将对抗神经网络用于融合红外和可见光图像；2020年，Zhang等人提出了基于CNN的图像融合模型。

红外和可见光图像融合研究开始于20世纪90年代，最开始被应用于军事领域，装载于战斗机上，以增强飞机的全天候作战能力。2000年以后，红外和可见光图像融合被应用到安防领域，英国的OCTCE、美国的Lehigh大学等研制出红外和可见光融合系统，随后美国的infrared solutions公司研制出商用的红外和可见光图像融合的相机，红外和可见光图像融合开始进入民用领域。

当前，针对红外和可见光图像融合算法有很多，例如，多尺度变换、稀疏表示、深度神经网络等。其中，基于稀疏表示的方法不能对多尺度提取信息，易造成信息丢失；基于深度神经网络的方法可以处理大量信息，计算量需求大，计算速度受到制约；多尺度变换结构简单，计算效率较高，其中非下采样Shearlet变换具有多尺度、方向灵活性、平移不变性和较高的计算速度，被广泛应用于生活中，然而，该方法仍然存在图像信息不完整、融合图像在清晰度和分辨率上融合效果不佳等难题。因此，本发明提出了一种基于频带系数分解的图像融合方法及系统，安装于汽车上，输出更高质量水平的融合图像，用于提高驾驶人员的视觉观察水平，避免交通事故的发生。

发明内容

本发明需要解决的技术问题是：提供一种基于频带系数分解的图像融合方法及系统，以便解决现有的单一传感器获取信息不充分、准确率低和现存的多源传感器融合效果不显著，信息丢失严重等缺陷。

本发明解决其技术问题采用以下的技术方案：