[发明专利]一种基于深度学习和模型驱动的多光谱和高光谱图像融合方法

权利要求书

1.一种基于深度学习和模型驱动的多光谱和高光谱图像融合方法，其特征在于，包括如下步骤：

1)数据准备阶段：对图像数据进行预处理，得到HrMS图像、LrHS图像及对应的HrHS图像，做为训练数据集；

2)模型建立阶段：根据HrMS图像与LrHS图像的生成机制，建立多光谱和高光谱图像融合模型，模型中：

HrHS图像和HrMS图像的线性关系为：

HrMS图像和LrHS图像的线性关系为：

其中，X为HrHS图像，Y为HrMS图像，Z为LrHS图像，A和B都为光谱响应系数矩阵，是一个待估计的基底矩阵，N_y是噪声成分，C是空间响应矩阵，N是噪声，r＝rank(Z)s，H、W、S分别表示高分辨路图像的高、宽、光谱数，h、w、s分别表示低分辨率图像的高、宽、光谱数；

所述多光谱和高光谱图像融合模型中的优化问题为：

其中λ是一个权重参数，f(·)代表了的正则项，代表平方范数；

3)模型求解阶段：针对步骤2)所得模型的优化问题，利用近端梯度方法设计一个只包含简单运算的迭代求解算法，所述迭代求解算法为：利用近端梯度方法迭代更新来求解所述优化问题，其中在第k次迭代中，的更新通过求解式(1)关于的二次近似问题而实现，该近似问题为：

其中，是第k次迭代计算得到的更新结果，η为更新步长参数，代表梯度算子；

对于常用的正则项f(·)，式(2)的解都能够表达为：

其中，prox_λη(·)是一个关于f(·)的近端算子，C^T表示C的转置，B^T表示B的转置，式(3)即为的更新迭代过程，只包含简单运算；

4)网络设计阶段：将步骤3)中包含的迭代更新过程分解成一系列子迭代步骤，并将其一一对应地展开成网络模块，建立多光谱和高光谱图像融合网络(MS/HS Fusion Net,MHF-net)；

其中，利用参数化的下采样算子和上采样算子来表示式(3)中的空间响应矩阵C及其转置C^T，并利用残差网络构建关于式(3)中的近端算子prox_λη(·)，在第s次迭代中，的更新迭代过程分为如下的子步骤：

其中，式(4)为式(3)的分解步骤的网络形式，用以更新分别为X,Y,Z,的三阶张量形式，ε^(k)、为网络当前阶段的特定网络层；×₃为张量的模3乘积，A^T表示A的转置，B^T表示B的转置，矩阵A和B在深度网络中能够方便地使用1×1卷积算子来表达；为下采样算子，D(·)是固定的等间隔下采样算子，φ是一个滤波核，p为滤波核的大小，为上采样算子，用2D转置卷积来实现，具体由一个转置卷积加上一个微调网络来实现：定义为采样率与D(·)相同的转置卷积，是一个U-net结构的调整网络；为表示近端算子prox_λη(·)的残差网络，每个残差网络均由T个标准的残差网络模块构成；

整体的多光谱和高光谱图像融合网络由K个阶段与式(4)对应的网络结构组成，其中，在第1个阶段，令所有元素为0；在第K个阶段中，加入一个用于微调的残差网络来输出最终的融合结果：是以θ_r为参数的残差网络

5)网络训练阶段：加载步骤1)预处理后的HrMS图像和LrHS图像，然后将其与必要的响应系数传入步骤4)中的多光谱和高光谱图像融合网络，根据训练损失函数，通过反向优化算法迭代更新多光谱和高光谱图像融合网络，使得网络的输出结果逐渐逼近步骤1)预处理后的HrHS图像，当达到设定的迭代次数时，训练终止，保存此时的网络参数，即为训练模型；

训练步骤具体包括：

(1)若训练数据和测试数据的响应系数一致，此情况下的网络记为一致多光谱和高光谱图像融合网络(Consistent MS/HS Fusion Net,CMHF-net)，此时，A，B和C都能够作为多光谱和高光谱图像融合网络的网络参数，并从训练集中学习得到；若收集到的训练数据来自不同设备，或者待测试的数据缺乏同源的训练数据，记此情况下的网络为盲多光谱和高光谱图像融合网络(Blind MS/HS Fusion Net,BMHF-net)，此时，A，B和C被作为网络输入；

(2)将输入一致多光谱和高光谱图像融合网络或将A,B,C输入盲多光谱和高光谱图像融合网络，得到k个阶段的融合结果为X^(k)，k＝1,2,…,K，最终融合结果为最终阶段的下采样残差

(3)计算多光谱和高光谱图像融合网络的总损失函数；

(4)采用随机梯度下降算法更新多光谱和高光谱图像融合网络中的网络参数来优化损失函数L；

在盲多光谱和高光谱图像融合网络中，所述A，B和C由训练图像中通过无监督方法估计得到，具体方法为：对于第n个训练数据(X_n,Y_n,Z_n)，其对应的系数矩阵B_n为X_n-Y_nA的前r-s个右奇异向量；通过最优化：

得到空间下采样算子的估计；所述多光谱和高光谱图像融合网络的总损失函数为：

其中α，β是权重参数；

6)网络测试阶段：准备待测试的HrMS图像和LrHS图像，加载步骤5)中的训练模型，将待测试的HrMS图像和LrHS图像输入多光谱和高光谱图像融合网络进行前向计算，网络的输出结果即由测试图像融合后得到的HrHS图像。