[发明专利]基于交互式特征嵌入的多光谱图像融合方法

权利要求书

1.一种基于交互式特征嵌入的多光谱图像融合方法，其特征在于，步骤如下：

步骤一：制作多光谱图像融合数据集

1)获取多光谱图像数据集，源图像I₁以及源图像I₂；

2)对步骤1)中的多光谱源图像I₁，I₂调整到高度和宽度一致；

3)对步骤2)中大小一致的源图像I₁，I₂，以固定大小的窗口、步长从上到下，从左到右滑动取图像块；

4)对步骤3)中获取的图像对，进行翻转、镜像操作，扩大训练数据集样本大小；

步骤二：设计自监督学习的交互式特征嵌入的多光谱图像融合网络，实现多光谱图像融合

1)设计自监督特征提取模块，该模块包含两个结构相同的分支；每个分支由多个卷积层组成，每层的卷积核参数为3*3*f,其中f为卷积核个数；卷积层所提取的层级特征表示为F′_m、F″_m，m表示为第m层，范围为{1,2,...,M}；两个分支输入为宽度为W、高度为H的源图像I₁、I₂，输出结果为源图像重构结果该模块的loss函数L₁表示为：

其中，MSE表示均方误差，I_n为源图像I₁、I₂，表示源图像I₁、I₂对应的重构结果和

2)设计交互式特征嵌入模块，该模块由多个卷积层组成，每层的卷积核参数为3*3*f,其中f为卷积核个数；卷积层所提取的层级特征表示为F_m；其中，第一层的层级特征由源图像I₁、I₂卷积后得到，第二层至M层的层级特征F_m由自监督特征提取模块提取的层级特征F′_m-1、F″_m-1经过卷积操作得到，该过程表达为：

其中，C²为2次卷积操作，C⁴为4次卷积操作；Cat表示concat操作；通过上式，可以观察到，中间层的层级特征F_m是由自监督特征提取模块提取的层级特征F′_m、F″_m派生得到的，这也就保证了F_m与F′_m，F″_m共享低、中、高级特征，进而服务于融合任务融合；

另一方面由自监督特征提取模块提取的层级特征F′_m、F″_m也派生于层级特征F_m，由F_m经卷积操作后得到，表达为：

F′_m,F″_m＝C(F_m)，M≥m≥1 (3)

鉴于用于重构源图像的特征F′_m，F″_m来自于F_m，这也就保证了F_m包含源图像主要特征，进而服务于融合任务；

3)融合结果输出；融合结果I_f是源图像I₁和I₂分别与交互式特征嵌入模块最终输出结果权重W和1-W的加权之和：

I_f＝I₁*W+I₂*(1-W) (4)

其中，W为权重图，由F_M通过卷积操作获得：

W＝C⁴(F_M) (5)

其中C⁴表示四次卷积操作；

步骤三：网络训练，网络训练过程是最优化损失函数的过程；本方法提出的自监督学习的交互式特征嵌入的多光谱图像融合网络损失函数由两部分组成：自监督训练损失，即L₁；融合损失，即L_f；网络训练为最小化loss函数L的过程，

L＝L₁+L_f (6)

具体地，L_f为基于SSIM的损失函数；

步骤四：测试阶段；输入宽度W，高度H的两幅多光谱图像I₁、I₂，输出其对应重构结果以及最终融合结果I_f。