[发明专利]高光谱图像超分辨率重建方法及装置

说明书

高光谱图像超分辨率重建方法及装置，针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，针对模型进行优化，然后进行网络设计、网络训练、网络测试，因此本发明利用非局部自相似性有效地恢复了缺失的高频信息，同时利用ISTA‑Net对变换域的信息加以利用，使网络具有很好的可解释性，提升了重建效果。

技术领域

本发明涉及图像处理的技术领域，尤其涉及一种高光谱图像超分辨率重建方法，以及高光谱图像超分辨率重建装置。

背景技术

高光谱成像是一种新兴的成像方式，能够在同一场景中获得特定频率的数十到数百个波段的图像，并最终获得三维数据立方体。与传统的RGB图像相比，高光谱图像(HSI)具有更多的真实场景信息，它不仅具有每个像素的光谱数据，而且还包括每个光谱波段下的图像信息。高光谱成像技术的出现，促进了计算机遥感、跟踪、分类、识别、分割等任务的发展。此外，由于高光谱图像丰富的光谱数据，引申出了针对光谱处理的许多问题，如光谱特性分析、光谱分离和目标检测。然而，虽然高光谱成像具有丰富的光谱信息，但由于入射能量有限，与可见光谱中的常规RGB相机相比，其空间分辨率有非常严重的限制。因此，对高光谱图像进行超分辨率重建的工作有着重要意义。

具体来说，传统的高光谱图像超分辨率(HSSR)方法可以分为三大类：组件替换(CS)、贝叶斯方法和稀疏表示。虽然这些方法可以完成任务，但往往存在光谱失真，难以反映HSI复杂的光谱信息，因此还需要改进。为了解决这一问题，将高分辨率多光谱(HrMS)图像和低分辨率高光谱(LrHS)图像融合得到高分辨率高光谱(HrHS)图像的方法引起了人们的注意。这种方法能够充分利用HSI的空间信息和光谱信息。MS/HS融合问题可以理解为一个从两个降维的立方体数据恢复一个三维数据的问题。与传统的泛锐化(pansharpening)方法相比，HrMS图像的每个光谱波段都作为一个PAN图像。

近年来，基于深度学习的HSSR方法取得了积极进展。这些方法可以在较少的先决条件下有效地恢复高频图像的细节部分。然而，这些方法大多数是不可解释的，这导致无法理解网络的内部机制。为了提高可解释性，通过正则化未知HrHS图像的先验结构，提出了一种具有数据驱动深度表示先验的MS/HS融合模型，充分利用光谱信息来提高HSSR的效率。

上述模型注意到了网络的可解释性，其中模块的每个部分都有明确的物理意义。这极大地促进了对网络内部发生的事情的简单直观地观察和分析。然而，在变换域中一些未被注意的信息会对重构结果产生影响。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种高光谱图像超分辨率重建方法，其更好地解决高光谱图像超分辨率中遇到的光谱畸变以及深度网络中可解释性较差的问题，有效地恢复了缺失的高频信息，提升了重建效果。

本发明的技术方案是：这种高光谱图像超分辨率重建方法，其包括以下步骤：

(1)针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，将非局部矩阵S嵌入到标准的图像退化模型中，表示为公式(1)：

其中，Y表示HrMS图像，其高度和宽度为H和W，Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w，hH，wW，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，是未知的，需要进行估计，其中λ是一个权重参数，f(·)代表了的正则项；

(2)针对模型进行优化，并展开为一个可解释的深度网络结构，该模型通过迭代收缩阈值算法来求解，该算法通过计算公式(3)进行迭代更新

是第t次迭代中的更新变量，f(·)分别表示非局部自回归模型定义的先验和重构先验；

(3)网络设计：利用HrMS图像和LrHS图像变换域上的信息设计一个可解释网络基础架构；