[发明专利]基于低秩稀疏表示的红外与可见光图像融合方法和系统

说明书

本发明提供一种基于低秩稀疏表示的红外与可见光图像融合方法，该方法包括：将红外与可见光图像作为不同的任务输入由稀疏一致性的潜在低秩表示分解模块分解为显著性部分和基础部分；使用深度神经网络模型对分解出基础部分进一步挖掘，提取更有效的融合特征；在图像融合模块中，对基础部分与显著性部分应用不同的融合策略，得到最终融合图像。本发明还提供一种基于低秩稀疏表示的红外与可见光图像融合系统。本发明得到的最终融合图像利用了多模态传感器图像数据的互补信息，使得得到的最终融合图像清晰度高、层次鲜明，场景中的显著区域、目标相对更加突出。

技术领域

本发明涉及图像融合技术领域，具体涉及一种基于低秩稀疏表示的红外与可见光图像融合方法和系统。

背景技术

图像融合是一种图像增强技术，旨在将来自不同传感器的图像组合起来以生成具有互补信息和显著视觉效果的融合图像，使其具有更好的目标显著信息和全面的细节背景信息。因此，它可以为包括目标检测、计算机辅助诊断、语义分割等领域的高级视觉任务提供可靠且信息丰富的图像。

通常，图像融合的方法主要分为三类：(1)基于多尺度分解的方法；(2)基于稀疏表示的方法；(3)基于深度学习的方法。多尺度分解方法是图像融合领域研究和应用最广泛的一种方法，能将图像分解为低频子带和高频子带，然后进行权重融合。但是由于但它们不具有平移不变性，容易造成伪Gibbs现象。基于稀疏的表示方法，关键在于如何构造冗余字典，而字典的学习是极为耗时的。在基于深度学习的融合方法中，主要是利用源图像的深度特征来生成融合图像，但是很少关注图像分解。

为了得到具有丰富图像信息和良好视觉效果的融合图像，潜在低秩表示(Latentlow-rank representation,LatLRR)方法因其能够有效分解图像的显著性部分和基础部分，在红外与可见光图像融合领域得到了广泛的应用。基于LatLRR的算法着重于对图像行分解，并采用平均和求和策略对分解的基础部分和显著部分进行求解，得到最终的融合图像。同时由于深度学习的兴起，LatLRR与深度神经网络相结合的方法也取得了较大的成就。

然而，现有的基于LatLRR图像融合方法没有考虑到红外和可见光图像是由不同传感器在同一位置获得的。在进行图像融合时，分别对红外与可见光图像进行分解，忽略了它们之间的空间一致性关系，导致无法有效地捕捉更多的特征信息。因此，如何得到融合效果更好的图像，是红外与可见光图像融合领域的重大挑战。

发明内容

针对上述技术问题，本发明采用的技术方案为：

本发明提供了一种基于低秩稀疏表示的红外与可见光图像融合方法，

本发明一实施例提供一种基于低秩稀疏表示的红外与可见光图像融合方法，包括以下步骤：

S10，利用稀疏一致性的潜在低秩表示分解模型分别对红外图像和可见光图像进行分解；

所述稀疏一致性的潜在低秩表示分解模型满足如下条件：

(1)

(2)s.t.X_m＝X_mZ_m+L_mX_m+E_m；