[发明专利]基于双路密集残差网络的高光谱和多光谱图像融合方法

权利要求书

1.一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于，包括以下步骤：

步骤1，构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征；

步骤1具体的具体实现方式如下，

步骤1.1，设置一个卷积层从输入多光谱图像提取浅层特征，该卷积层表示为：

F_M0＝σ_M0(W_M0Y+B_M0)

其中，W_M0和B_M0分别表示该卷积层滤波器和偏置，Y表示输入多光谱图像，F_M0表示该卷积层输出的特征图，σ_M0表示激活函数；

步骤1.2，设置L层密集连接卷积层，其中第l个卷积层表示为：

F_M1＝σ_M1(W_M1F_M0+B_M1)

F_Ml＝σ_Ml(W_Ml(F_M1,F_M2…F_Ml-1)+B_Ml)

其中l＝1,2,…L-1，第L层的输出增加了残差连接，该卷积层输出为：

F_ML＝F_M1+σ_ML(W_ML(F_M1,F_M2…F_ML-1)+B_ML)

步骤1.3，通过密集连接卷积层提取的多层次频域纹理特征通过一个卷积层规整，该卷积层表示为：

F_M＝σ_ML+1(W_ML+1F_ML+B_ML+1)；

步骤2，构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征；

步骤2的具体实现方式如下，

步骤2.1，设置一个卷积层从输入高光谱图像提取浅层特征，该卷积层表示为：

F_H0＝σ_H0(W_H0X+B_H0)

其中，W_H0和B_H0分别表示该卷积层滤波器和偏置，X表示输入高光谱图像，F_H0表示该卷积层输出的特征图，σ_H0表示激活函数；

步骤2.2，设置L层密集连接卷积层，其中第l个卷积层表示为：

F_H1＝σ_H1(W_H1F_H0+B_H1)

F_Hl＝σ_Hl(W_Hl(F_H1,F_H2σF_Hl-1)+B_Hl)

其中l＝1,2,…L-1，第L层的输出增加了残差连接，该卷积层输出为：

F_HL＝F_H1+σ_HL(W_HL(F_H1,F_H2…F_HL-1)+B_HL)

步骤2.3，通过密集连接卷积层提取的多层次空间纹理特征通过一个反卷积层上采样，该反卷积层表示为：

F_H＝σ_HL+1(W_HL+1F_HL+B_HL+1)；

步骤3，构建空频特征融合子网络，将步骤1中频域纹理特征与步骤2中的空间纹理特征进行堆叠并从中融合得到超分辨率高光谱图像；

步骤3的具体实现方式为，

从输入的高光谱和多光谱图像中提取的反卷积层F_H和卷积层特征F_M堆叠后通过大小一个卷积层降维，然后通过全连接层输出得到超分辨率高光谱图像，该过程表示为：

Z＝σ₂(W₂(σ₁(W₁(F_H,F_M)+B₁)+B₂)

其中，W₁,B₁表示特征融合子网络卷积层滤波器和偏置，W₂,B₂表示全连接层滤波器和偏置，σ₁和σ₂分别表示卷积层和全连接层激活函数；

步骤4，通过上述3个子网络构建端到端映射的高光谱/多光谱图像融合网络，并利用训练数据集统一训练所有网络的模型参数；

步骤5，将测试样本输入训练好的融合网络模型得到超分辨高光谱图像。