[发明专利]一种近红外与可见光图像融合方法及系统

说明书

本发明公开了一种近红外与可见光图像融合方法及系统，通过获取近红外图像和可见光图像，构建正则化项，所述正则化项包括数据保真项、多阶超拉普拉斯先验项以及噪声映射项，基于正则化项，构建用于近红外图像与可见光图像融合的融合模型以及对融合模型进行最优值求解，获得最优融合图像，解决了现有的近红外与可见光图像融合方法存在细节丢失与结构不一致的技术问题，实现了雾天/低光场景下图像细节的精细提取，不仅能在低光/雾霾场景下揭示受到重雾霾/噪声退化区域处的细节，而且能有效避免融合图像中的颜色失真。

技术领域

本发明主要涉及图像处理技术领域，特指一种近红外与可见光图像融合方法及系统。

背景技术

近红外与可见光图像融合是一项重要的图像增强技术，目的是在极端环境下融合近红外与可见光波段下的图像生成纹理丰富的高质量融合图像。近红外和可见光图像在颜色和能见度方面有不同的特征。可见光波段传感器捕获的图像，对波长在(400-700nm)范围内的辐射具有最高的灵敏度，但是可见光波段图像在雾、霾或低光等特殊条件下的能见度和场景对比度较低。相反，近红外(NIR)波段(650-1650nm)的辐射可以捕获具有较强能见度和对比度的图像，其中包含在可见光图像中可能被遗漏的场景的互补细节。

近红外与可见光图像的融合方法主要分为三类：盲法方法、基于变分的方法与基于数据驱动的方法。盲法方法执行时间快，但它产生的融合图像容易产生视觉伪影与细节损失。基于变分的方法可以产生令人满意的融合效果，然而它的性能主要依靠于先验知识的选择。基于数据驱动的方法需要具有基本真值的训练数据集。然而，在极其恶劣的环境中，收集大量清晰的图像变得更加困难。综上所述，大多数现有的近红外与可见光图像融合方法在重雾霾/噪声条件下存在细节丢失与结构不一致的问题。为了解决这些问题，本发明提出了一种新的基于多阶超拉普拉斯先验的近红外与可见光图像融合方法，该方法通过对近红外与可见光图像的多阶梯度差应用l_1/2范数，一种有效的多阶超拉普拉斯先验被设计去缓解雾霾/噪声退化造成的细节损失。此外，考虑到低光场景中去噪与融合任务的不兼容性，一个噪声图被设计去消除不一致的结构。最后，基于多阶超拉普拉斯先验和噪声图建立了统一的变分框架，用于近红外与可见光图像/视频融合。该框架能够在恶劣场景中保留基本结构，提高融合图像/视频的视觉保真度。

公开号为CN 111429389 A的专利公开了一种保持光谱特性的可见光和近红外图像融合方法。该发明提出基于可见光和近红外光谱反射特性差异的反射权重模型,该模型考虑了物体表观颜色与可见光光谱反射特性的关系,实现融合图像的颜色真实自然。其次,逐层由引导滤波和高斯低通滤波获取纹理层和轮廓层,计算纹理层和轮廓层的融合权重,并对可见光和近红外图像进行逐层融合,最后得到清晰、颜色自然的融合图像。

但实际上该方法在融合过程中会出现严重的结构不一致问题。该方法通过计算反射权重模型与融合权重，估计最后的融合图像实现细节提升。但是该方法只考虑提升雾天场景的视觉可见性，没考虑噪声带来的不一致结构。

公开号为CN 113160286 A的专利公开了一种基于卷积神经网络的近红外和可见光图像融合方法。该发明提出了一种基于卷积神经网络的近红外和可见光图像融合方法,设计由像素损失、结构损失和边缘损失构成的混合损失函数,输入训练集进行融合网络的训练；最后,输入待融合的近红外和可见光图像对得到最终的融合图像。

但实际上该方法对于重雾霾/噪声退化下的图像融合效果还是比较差，无法有效提取两类退化下的细节特征；该方法对于一些无法获取真值的极端环境鲁棒性较差，因为在极其恶劣的环境中收集大量清晰的图像变得更加困难。

发明内容

本发明提供的近红外与可见光图像融合方法及系统，解决了现有的近红外与可见光图像融合方法存在细节丢失与结构不一致的技术问题。

为解决上述技术问题，本发明提出的近红外与可见光图像融合方法包括：

获取近红外图像和可见光图像。