[发明专利]一种基于深度学习和模型驱动的多光谱和高光谱图像融合方法

说明书

本发明公开了一种模型驱动的深度多/高光谱图像融合的方法。本发明的技术关键在于网络的构造与网络的训练(或测试)的新模式。首先，在深度网络的构造阶段，根据低分辨图像的生成机制，建立全新的多/高光谱图像融合模型，设计了模型的迭代求解算法，然后将算法的迭代步骤一一对应地展开成网络模块，建立多/高光谱图像融合网络(MS/HS Fusion Net,MHF‑net)；在网络的训练与测试阶段，本发明给出了响应系数与低分辨率图像同时输入网络的训练模式，首次发明了在训练/测试数据响应系数不一致场景下有效的深度多/高光谱图像融合的方法。本发明的深度多/高光谱图像融合网络具有明显的可解释性、泛化性以及较强的实际应用意义。

技术领域

本发明属于图像处理、遥感以及深度学习技术领域，特别涉及一种基于深度学习和模型驱动的多光谱和高光谱图像融合方法。

背景技术

高光谱成像技术可获取连续光谱中的场景，与RGB图像相比可以更好地记录真实场景的信息，在遥感探测等领域有着重要应用。然而，在实际情况下，由于设备限制，高光谱成像系统只能提供具有高空间分辨率但光谱数较低的图像数据或者空间分辨率较低的高光谱图像。因此，多光谱和高光谱图像融合问题，即融合实际收集的HrMS图像和LrHS图像以生成理想的HrHS图像是一个十分有现实意义的问题，在近年来引起了科研领域的广泛关注。

目前，已有的多光谱和高光谱图像融合技术主要分为传统方法和深度学习方法两大类。传统方法大多都基于HrMS图像与LrHS图像的生成模型展开。其中，一些方法结合了生成模型与图像空间先验信息提出，但人为设计的正则项通常不能刻画高光谱图像的复杂先验信息；此外，还有一些方法结合了高光谱图像特有的光谱可字典表示的特性，通过学习局部光谱字典与再表达进行高光谱融合；还有一些方法结合了矩阵分解或张量分解模型进行高光谱融合，也取得了不错的效果。大部分基于传统模型的方法通常是很费时的，这显然不利于实际应用。近年来随着深度学习的快速发展，卷积神经网络在图像处理任务中取得了巨大的成功，同样可以应用到多光谱和高光谱图像融合问题中。当成对训练数据充分时，深度学习方法能够从大量数据中获得关于高光谱图像的复杂先验信息，在精度与测试速度上都同时超过传统方法。然而，现有的深度高光谱融合方法大多只是简单借用了图像处理领域的现有网络，忽略了多光谱和高光谱图像融合问题的领域知识。特别地，相关深度学习方法忽略了关于HrMS图像与LrHS图像的生成模型，并且没有考虑高光谱图像在光谱维的低秩性，这显然不利于融合效果的提升。因此，研究如何在深度学习的框架中建模这些领域知识是非常有必要的。

发明内容

为了克服上述现有技术的缺点，针对基于传统模型和深度学习模型的多光谱和高光谱图像融合技术中存在的问题，本发明的目的在于提供一种基于深度学习和模型驱动的多光谱和高光谱图像融合方法，具有可解释性和良好泛化能力。

为了实现上述目的，本发明采用的技术方案是：

一种基于深度学习和模型驱动的多光谱和高光谱图像融合方法，其特征在于，包括如下步骤：

1)数据准备阶段：对图像数据进行预处理，得到HrMS图像、LrHS图像及对应的HrHS图像，做为训练数据集；

2)模型建立阶段：根据HrMS图像与LrHS图像的生成机制，建立多光谱和高光谱图像融合模型；

3)模型求解阶段：针对步骤2)所得模型的优化问题，利用近端梯度方法设计一个只包含简单运算的迭代求解算法；

4)网络设计阶段：将步骤3)中包含的迭代更新过程分解成一系列子迭代步骤，并将其一一对应地展开成网络模块，建立多光谱和高光谱图像融合网络(MS/HS Fusion Net,MHF-net)；