[发明专利]基于双路密集残差网络的高光谱和多光谱图像融合方法

说明书

本发明公开了一种基于双路密集残差网络的高光谱图像与多光谱图像融合方法，通过融合具有较低空间分辨率的高光谱图像和同一场景下的具有较高空间分辨率的高光谱图像来重建超分辨率高光谱图像。本发明通过双路密集残差网络可以更充分的利用高光谱和多光谱图像中的频域和空间纹理信息，在提高空间分辨率的同时抑制频谱失真，可用于卫星遥感、农业地质普查、医学成像、环境监控等领域。

技术领域

本发明属于图像处理技术领域，具体地涉及高光谱图像和同一场景下的多光谱图像融合的方法，可以应用于高光谱图像超分辨率重建。

背景技术

高光谱成像可以同时获得同一场景下的多幅不同频谱波段范围下的图像。相对于传统成像方式，高光谱图像包含丰富的频谱信息，广泛应用于卫星遥感、农业地质普查、医学成像、环境监控等领域。然而受成像传感器技术的限制，高光谱成像获得更丰富的频谱信息往往是以牺牲空间分辨率作为代价。因此有必要通过设计软件算法实现高光谱图像超分辨率重建技术。其中，通过融合高光谱图像和同一场景下的多光谱图像来实现高光谱图像超分辨率重建往往能获得更高的重建质量，因此是一种很有竞争力的方法。

现有的高光谱图像融合方法，如基于矩阵分解、基于张量分解的方法等，利用高光谱图像的稀疏性、非局部自相似性等先验特性建模，立足于待重建的输入数据求解超分辨率高光谱图像。这类方法往往算法复杂度高，过多依赖先验约束条件，算法适应性较差。随着高光谱成像技术的逐渐普及，高光谱成像数据越来越丰富，这就为基于深度学习的高光谱图像融合技术的发展提供了条件。然而现有的基于深度学习的高光谱图像融合方法还没有做到真正的端到端映射。输入数据往往需要经过预处理后再送入基于深度学习的融合模型，模型的输出往往需要经过后处理才能得到最终的重建结果。这就使得各步骤下的模型参数难以在一个统一的框架下训练，各步骤间参数匹配性较差。因此需要一种基于深度学习的高光谱和多光谱图像融合方法，实现真正的端到端映射。

发明内容

为了解决上述技术问题，本发明提供了一种基于双路密集残差网络的高光谱图像与多光谱图像融合方法，通过融合具有较低空间分辨率的高光谱图像和同一场景下的具有较高空间分辨率的高光谱图像来重建超分辨率高光谱图像。该方法实现了重建过程端到端映射，不需要任何预处理或后处理。

本发明所采用的技术方案是：一种基于双路密集残差网络的高光谱与多光谱图像融合方法，包括以下步骤：

步骤1，构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征；

步骤2，构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征；

步骤3，构建空频特征融合子网络，将步骤1中频域纹理特征与步骤2中的空间纹理特征进行堆叠并从中融合得到超分辨率高光谱图像；

步骤4，通过上述3个子网络构建端到端映射的高光谱/多光谱图像融合网络，并利用训练数据集统一训练所有网络的模型参数；

步骤5，将测试样本输入训练好的融合网络模型得到超分辨高光谱图像。

步骤1具体的具体实现方式如下，

步骤1.1，设置一个卷积层从输入多光谱图像提取浅层特征，该卷积层表示为：

F_M0＝σ_M0(W_M0Y+B_M0)

其中，W_M0和B_M0分别表示该卷积层滤波器和偏置，Y表示输入多光谱图像，F_M0表示该卷积层输出的特征图，σ_M0表示激活函数；

步骤1.2，设置L层密集连接卷积层，其中第l(l＝1,2,…L-1)个卷积层表示为