[发明专利]一种红外与可见光图像融合方法

说明书

本发明涉及一种红外与可见光图像融合方法，该方法如下：输入经过严格配准后的一张红外图像与一张可见光图像，将红外图像与可见光图像分别分解为一个低频分量和四个高频分量；基于红外信息的区域平均能量的方法对红外图像与可见光图像的低频分量进行融合；基于区域对比度与平均梯度的方法融合不同尺度不同方向的高频分量；将低频分量融合图像和高频分量融合图像进行逆变换得到融合图像。本发明得到的融合图像既包含了可见光图像的边缘及纹理细节信息，又包含了红外图像的突出的热目标的信息。

技术领域

本发明属于多光谱图像处理技术领域，具体涉及一种红外与可见光图像融合的方法。

背景技术

图像融合是一种增强技术，旨在组合由不同类型的传感器获得的图像，以生成信息丰富、目标突出的图像，便于后续处理或帮助决策。红外与可见光图像融合在许多方面是相对优越的。可见光图像捕获反射光，通常具有高空间分辨率和相当大的细节及明暗对比，适合于人类视觉感知。然而这些图像很容易受到严苛条件的影响，例如光线不足、雾气和恶劣天气等其他影响；红外图像捕获热辐射，能够抵抗这些干扰，但具有低分辨率和很差的纹理。红外与可见光图像能够呈现几乎所有目标物体中固有的特征，因此，这种组合比单模态信号更具信息性，能够产生稳健且信息丰富的融合图像。

在过去的几十年中，多尺度变换在红外和可见光图像融合等领域都很有效。多尺度变换可以将原始图像分解为不同尺度的分量，其中每个分量代表每个尺度的子图像，而现实世界的对象通常包含不同尺度的分量。一些研究表明，多尺度变换与人类视觉特征一致，这种特性可以使融合图像具有良好的视觉效果。通常，基于多尺度变换的红外与可见光图像融合方案包含三个步骤：首先，将每个源图像分解为一系列多尺度表示；然后，根据给定的融合规则融合源图像的多尺度表示；最后，使用融合表示上的对应逆多尺度变换来获取融合图像。基于多尺度变换的融合方案的关键在于选择变换和融合规则。常见的多尺度变换有金字塔变换、小波变换、非下采样轮廓波变换、边缘保留滤波器等。但这些方法会受到分解方向、平移不变性等因素的影响，对融合结果造成一定的偏差。之后，Easley提出了非下采样剪切波变换(NSST)，运算效率较之前有了极大的提升，而且方向性更强，具有平移不变性等优点，受到了研究人员的关注。

图像融合的另一关键问题是融合规则的选择。传统的融合规则是高频取绝对值最大法，低频取平均法进行融合。这种融合规则会导致部分信息不突出以及边缘模糊等问题。陈俊等人在低频采用通过红外图像控制权重并引入正则化的方法，保证了红外图像中突出目标的保留。但在高频执行通用的绝对值最大规则进行融合，边缘相对模糊。孔维维在低频采用区域平均能量的融合策略，高频采用区域对比度的融合策略。充分考虑到了区域之间的关联性，但某些细节信息不突出。

发明内容

本发明要解决的技术问题是提供一种红外与可见光图像融合方法，该方法能够充分融合红外与可见光图像，得到的图像既包含可见光图像的边缘及纹理细节信息，又包含红外图像的突出的热目标的信息。

为了解决上述技术问题，本发明的红外与可见光图像融合方法如下：

输入经过严格配准后的一张红外图像与一张可见光图像，将红外图像与可见光图像分别分解为一个低频分量和四个高频分量；

将红外图像与可见光图像的低频分量进行融合，方法如下：

分别计算红外图像与可见光图像每个像素所在M×N区域内的平均能量，M＝N＝3；

根据下式计算出红外图像与可见光图像低频分量的对应像素点的相似度：

其中E_I(i，j)表示红外图像低频分量像素点(i，j)所在M×N区域内的平均能量，E_V(i，j)表示可见光图像低频分量像素点(i，j)所在M×N区域内的平均能量，M_D(i，j)表示红外图像低频分量像素点(i，j)与可见光图像低频分量像素点(i，j)之间的相似度；