[发明专利]基于深度学习与矩阵分解的高光谱与全色图像融合方法

摘要

本发明公开了一种基于深度学习与矩阵分解的高光谱与全色图像融合方法，主要解决现有高光谱与全色图像融合方法空间信息提升不足和光谱信息损失过多的缺陷。其实现步骤为：①对高光谱图像数据集进行预处理，得到训练数据，②构建高频信息卷积网络并用训练数据对其训练；③输入待融合的高光谱图像和全色图像，通过LapSRN网络对高光谱图像超分辨，通过高频信息卷积网络获取全色图像的高频细节；④将全色图像作为引导图，并通过引导滤波增强超分辨高光谱图像边界信息；⑤结合先验图像构造融合优化方程，并求解该优化方程，得到输出的融合图像。本发明降低了对光谱信息的损失，提高了图像的空间信息，适用于任意场景下高光谱与全色图像的融合。

主权项

1.一种基于深度学习与矩阵分解的高光谱与全色图像融合方法，其特征在于，包括如下：(1)获取公开的高分辨率高光谱图像数据，进行预处理：(1a)获取公开的高分辨率高光谱图像数据X，通过采样生成低空间分辨率的高光谱训练图像Y_t和全色的训练图像Z_t；(1b)应用单一图像超分辨网络LapSRN对训练图像Y_t进行映射，得到映射后的高光谱训练图像X_t；(2)构建用于提取全色图像的高频细节信息的高频信息深度卷积网络HFnet，并进行训练：(2a)基于ResNet深度卷积神经网络框架搭建包括8层残差网络的高频信息深度卷积网络HFnet；每层卷积核的大小为3x3，前7层以线性函数ReLU为激活函数，最后一层无激活函数；每两个卷积层之间跳跃连接形成残差结构；(2b)以高分辨率的高光谱图像X为标签图像，分别从空间尺寸和通道个数上对全色的训练图像Z_t、映射后的高光谱训练图像X_t和高分辨率的高光谱图像X进行裁剪，得到训练数据集；(2c)通过高通滤波器提取训练数据集中高光谱图像与全色图像的高频信息，并在图像的通道维度上进行拼接，得到高频训练图像；(2d)设学习率为1×10^‑5，定义损失函数为：其中，表示F范数运算；Xⁱ为标签图像的第i个波段图像，为附加了网络学习得到的高频信息后的高光谱训练图像的第i个波段图像，i∈[1,m_λ]，m_λ为高光谱图像的总波段；(2e)将高频训练图像输入到高频信息深度卷积网络HFnet中，利用损失函数进行训练，并采用梯度下降法更新网络参数，当损失函数loss收敛时或训练步数大于设定步数时停止训练，得到训练好的高频信息深度卷积网络HFnet，其中步数的设置是根据预计的训练时间设置，其为一固定值。(3)输入相同场景下待融合的低空间分辨率的高光谱图像Y和全色图像Z；应用单一图像超分辨网络LapSRN对待融合的低空间分辨率的高光谱图像Y进行映射，得到映射后超分辨的高光谱图像X_s；(4)将超分辨的高光谱图像X_s与待融合的全色图像Z输入到训练好的高频信息深度卷积网络HFnet中，获取网络输出的高频细节图像X_r；(5)以全色图像Z为导向图，对超分辨后的高光谱图像X_s的每个波段图像进行引导滤波，在保持空间分辨率的前提下得到边缘特征增强的高光谱图像X_g；(6)将高频细节图像X_r加至边缘特征增强的高光谱图像X_g，得到先验高光谱图像X_h；(7)将全色图像Z的空间信息，低分辨率高光谱图像Y的光谱信息与先验高光谱图像X_h的空谱信息进行融合，得到如下优化方程：其中，B为传感器的点扩散函数，R为传感器的光谱响应，S表示下采样操作，为已知先验信息；X_f为输出的高光谱融合图像，α为约束因子，取值为3×10^‑3，表示F范数运算；(8)求解优化方程，得到输出的高光谱融合图像X_f。