[发明专利]结合改进NSCT变换和深度学习的红外与可见光图像融合方法

说明书

本发明涉及一种红外图像与可见光图像融合方法，具体涉及一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。本发明的目的是解决现有红外图像与可见光图像融合方法存在难以进行快速有效的图像融合的技术问题，提供一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。该方法结合结合改进NSCT变换和深度学习进行红外与可见光图像融合，以生成符合人眼视觉系统的融合结果图。采用改进型非下采样轮廓波变换NSCT对待融合图像进行自适应分解，对相应尺度的子带图像利用深度学习确定融合权重。采用本发明方案融合红外图像与可见光图像，可丰富图像细节和光谱信息，提高分辨率，使人产生更完整的场景感知。

技术领域

本发明涉及一种红外图像与可见光图像融合方法，具体涉及一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。

背景技术

不同光谱的图像传感器有时会具有较好的互补特性。比如，红外图像传感器是根据物体红外辐射的差异成像，反映的是物体的热辐射特性，由于红外图像的获取不依赖于外部光线，能够克服天气环境等的影响，并极好地获得夜间或雾天等情况下的目标信息，故具有全天候工作的特点。而可见光图像传感器是根据物体对可见光的不同反射能力成像，反映的是物体表面的可见光反射特性，可见光图像的细节纹理信息通常比较丰富，图像的获取易受光照、天气以及目标被遮挡等因素的影响，导致无法较好地获取目标信息，不具有全天候工作的特点。红外图像通常对比度和分辨率较低，缺乏细节信息，而可见光图像通常具有较高的对比度和分辨率，边缘纹理等细节信息比较丰富。由于二者各自应用的局限性，单一的可见光或红外传感器技术已经不能满足要求越来越高的应用场景要求。而由于红外图像和可见光图像具有良好的互补特性，实践表明，在很多场景中将这两种传感器获取的图像进行有效地融合处理，能够充分保留各自传感器的优点，克服各自应用的不足之处，获得对于场景全面准确的图像描述，达到对信息的充分利用，同时提高系统分析决策的准确性和可靠性。

近年来，基于多分辨、多尺度的图像融合算法一直是图像融合研究的热点。现有的图像多尺度分析方法主要包括金字塔变换、小波变换、轮廓波变换、非下采样轮廓波变换和NSCT变换等。金字塔变换中图像分解的各尺度之间存在相关性，使得图像融合效果不理想。小波变换是一种正交分解的方法，可提取图像低频信息和水平、垂直及对角三个方向的高频信息，小波变换具有方向性和时频特征，小波变换的问题在于：分解方向仅有三个，不能很好地满足人眼识别特性的需求，同时小波变换存在信号能量泄漏，在边缘处的能量和频率会出现较严重的失真，在图像融合中会出现边缘效应。轮廓波变换具有多方向性和时频特征，但存在Gibbs现象，影响融合图像的质量。非下采样轮廓波变换改善了Gibbs现象，但是图像融合速度较慢。传统NSCT变换的各个滤波器相互不结合，具有多尺度、多方向、消除Gibbs现象和位移不变性的优点，但存在计算量大、分解效率低下等弊端。现有的快速NSCT变换将多个滤波器两两结合，在保留传统NSCT变换多尺度、多方向、消除Gibbs现象和位移不变性的基础上做了进一步改进，根据图像信号特征对图像进行自适应分解，得到一系列的高频子带图像和低频子带图像，各子带图像之间具有较强的局部正交性，能够有效地表示图像的特征信息，尽管运行速度相比传统NSCT变换有所加快，而且也能够获取较好的图像分解效果，但由于运行速度提高程度有限，应用于图像融合时，仍然速度较慢。

总之，现有的各种图像融合算法因存在各种不足，均难以快速有效地进行红外图像与可见光图像的图像融合。

发明内容

本发明的目的是解决现有红外图像与可见光图像融合方法存在难以进行快速有效的图像融合的技术问题，提供一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。

为解决上述技术问题，本发明提供的技术解决方案如下：

一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特殊之处在于，包括以下步骤：

1)图像分解