[发明专利]基于深度图像先验的高光谱图像超分辨率重建方法

说明书

本发明提供的一种基于深度图像先验的高光谱图像超分辨率重建方法，通过在现有的主体学习网络中加入不基于训练的自动处理网络，通过设计输入处理模块来充分根据网络主体结构调整网络输入，使输入与网络结构产生共鸣，从而充分利用图像先验信息，利用DCNN的内在特征先捕获图像，然后再恢复图像。本发明所提出的网络结构充分利用了高光谱图像的空间信息和光谱波段之间的相关性学习图像特征，并且此本发明的自动处理网络中的输入处理模块可以自动调整输入结构，可以大大扩展DIP算法的应用，使DIP方法更适合于高光谱超分任务，可以进一步提高了构图像的质量。

技术领域

本发明属于人工智能和图像处理技术领域，具体涉及一种基于深度图像先验的高光谱图像超分辨率重建方法。

背景技术

高光谱图像具有丰富的光谱和空间信息，在捕捉目标物体的细节方面具有优势。它们有着非常广泛的应用，如陆地、大气、海洋等领域的观测。然而，由于入射能量的限制，在光学遥感系统的设计中，如果其他因素保持不变，并保证高信号色噪比(SNR)，空间分辨率随着频谱特征的增加而降低。而高光谱图像超分辨率重建技术旨在通过一张低分辨率高光谱图像重建一张高分辨率高光谱图像。

现有技术提出高光谱图像超分辨率的学习方法只要包括经典的基于插值的方法、基于融合的方法和最新的基于深度学习的方法。基于插值的方法直接使用邻域像素信息，不能带来更多的信息，因此不能产生满意的结果。而基于贝叶斯推理和稀疏表示的融合方法将观测到的低分辨率超光谱图像与辅助图像(如全色图像、RGB图像和多光谱图像)进行融合，以提高低分辨率图像的质量。在这些方法中都需要良好的图像配准，这严重制约了基于融合的方法在现实世界中的应用。

随着卷积神经网络(CNN)的快速发展，基于深度学习的高光谱图像超分方法最近得到了蓬勃发展。由于卷积神经网络具有强大的非线性映射能力，它逐渐成为高光谱图像处理领域的一项重要技术，并取得了显著的成功。然而，与传统的灰度/RGB图像不同，由于超光谱图像的内部特征，不同数据集之间成像条件和光谱波段数量的差异，使得很难构建统一的深度神经网络。此外，训练图像的缺乏阻碍了高光谱图像处理的研究进展，超分辨率任务不可避免地面临以下挑战：1)难以获得超光谱图像的先验信息，超光谱图像通常包含数百个连续谱带。因此，为了避免过拟合问题，有必要从大量的样本图像中学习真实的先验图像。然而，与自然图像相比，可利用的高光谱图像数据集数量很少。2)考虑到成像条件的不同和高光谱谱带的数目不同，构建一个统一的深层神经网络仍然是一个难题。

Ulyanov等人在文献“D.Ulyanov,A.Vedaldi,and V.Lempitsky,“Deep imageprior.in Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(CVPR),June 2018.”(以下简称Deep image prior为DIP算法)中提出一种不基于训练的图像自动处理网络，该方法证明了大部分的图像统计信息是由生成器CNN的结构捕获的，这个结构独立于学习过程。这意味着CNN的学习能力和内部结构都有利于图像数据的处理。此外，还可以利用结构本身来获取和处理图像统计信息，而不需要学习外部图像。然而，将该算法直接应用于HSISR也会引起一些问题：

1)所提出的结构是基于传统的灰度/RGB图像超分辨率任务，因此该方法在处理高维度的高光谱图像时不能取得令人满意的结果；

2)通过实验表明，该方法受网络结构以及输入图像的影响，需要反复调整网络结构以及网络输入，使两者匹配。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于深度图像先验的高光谱图像超分辨率重建方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供的一种基于深度图像先验的高光谱图像超分辨率重建方法，包括：

步骤1：获取待超分的图像以及主体学习网络；