[发明专利]基于迁移学习和光谱恢复的HSI超分辨重建方法及相关设备

说明书

本发明涉及高光谱图像领域，公开基于迁移学习和光谱恢复的HSI超分辨重建方法及相关设备，用于通过机器学习模型实现从低分辨高光谱图像预测HSI，方法包括：获取高光谱图像集训练集和彩色图像训练集；根据高光谱图像集训练集进行光谱下采样得到多光谱图像集；根据彩色图像训练集对预设迁移学习模型进行训练，得到空间超分辨模型，并对空间超分辨模型进行调优，得到目标空间超分辨模型；根据低分辨率多光谱图像集和低分辨率高光谱图像集，对预设深度学习模型进行训练，得到目标光谱超分辨模型；获取待重建的低分辨率高光谱图像，基于目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。

技术领域

本发明涉及深度学习的高光谱图像技术领域，尤其涉及一种基于迁移学习和光谱恢复的HSI超分辨重建方法、装置、设备及存储介质。

背景技术

高光谱图像(Hyperspectral Image,HSI)能够同时捕获丰富的光谱信息和空间信息，更加全面反映图像的特性，且高分辨率的光谱信息可以有效的区分在彩色域或者纹理相近的物体。因此，HSI在遥感领域和视觉任务得到广泛的应用，比如环境保护、植被分析、目标跟踪等等。高分辨率的图像，无论是空间域还是光谱域，可以提升现实应用的效果。因此，获取高分辨率的HSI十分重要。

图像超分辨重建是具有挑战性的计算机视觉问题，可以有效的增加图像的分辨率，提升HSI的视觉效果。就HSI而言，超分辨研究主要从空间域和光谱域提高图像的分辨率，本发明的主要目标是提升HSI的空间分辨率，本文中的超分辨研究是指空间域超分辨。HSI超分辨重建可以分为基于融合的方法和基于单图像的方法，基于单图像的超分辨重建方法主要利用深度学习实现，利用SCT-SDCNN、3D-FCN、SSIN等等。上述方法具有良好的超分辨重建效果，然而所用的深度网络模型具有极高的时空复杂度，并且需要外部训练集多网络参数进行调优，但高额的成本和复杂的技术使得HSI的训练集的获取较为困难。

针对HIS超分辨重建训练集不易获取的问题，本发明拟采用迁移学习的方法研究HSI超分辨重建问题。相比HSI，彩色图像或者多光谱图像的图像训练集的获取更加容易，本发明基于迁移学习的方法利用彩色图像训练集调优超分辨重建模型。然而，由于HSI和彩色图像的域间隔较为明显，直接迁移可能导致超分辨重建的HSI具有严重的光谱失真。

为解决上述直接迁移可能导致获得的HSI具有光谱失真的问题，本发明提出一种基于迁移学习和光谱恢复的HSI超分辨重建方法，通过利用光谱响应函数将高光谱图像进行光谱降维，可以有效减少高光谱图像和彩色图像间的域间隔；本发明还在迁移学习的基础上利用训练好的光谱恢复网络重建成高分辨率HSI。

发明内容

本发明的主要目的在于解决现有利用彩色图像训练集调优空间超分辨重建模型直接迁移可能导致获得的HSI具有光谱失真的问题，通过利用光谱响应函数将高光谱图像进行光谱降维，还在迁移学习的基础上利用训练好的光谱恢复模型重建成高分辨率HSI，实现通过机器学习模型从低分辨高光谱图像预测得到HSI，达到HSI超分辨重建的目的。

为实现上述目的，本发明第一方面提供了一种基于迁移学习和光谱恢复的HSI超分辨重建方法，包括：

获取高光谱图像集训练集T＝{(X_i，Y_i)，i＝1,2,…,Z}、和彩色图像训练集C＝{(L_i，H_i)，i＝1,2,…,N}，其中，X＝{X_i，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Y_i，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{L_i，i＝1,2,…,N}为低分辨率彩色图像集、H＝{H_i，i＝1,2,…,N}为高分辨率彩色图像集；