[发明专利]基于交互式特征嵌入的多光谱图像融合方法

说明书

本发明提供一种基于交互式特征嵌入的多光谱图像融合方法，属于计算机视觉领域，本发明包括以下步骤：收集多光谱图像对，对图像对预处理，包括高度宽度调整、滑动窗口取图像对等，获取网络训练数据集；设计基于自监督学习的交互式特征嵌入的多光谱图像融合网络；设计损失函数，监督网络模型训练；测试过程中，输入多光谱图像对，网络输出最终图像融合结果。本发明可有效提升网络特征提取能力，有利于融合结果中重要信息的保留。

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于交互式特征嵌入的多光谱图像融合。

背景技术

多光谱图像融合是将从多光谱探测器捕获的相同场景的图像特征整合在一起，更加全面、准确的描述场景信息。多光谱图像融合是图像融合任务的一部分，在多个方面具有广泛应用，例如，场景监测[1]、目标识别、地质勘察和军事方面等。

深度学习技术在图像融合扮演着重要角色。现有基于深度学习的图像融合方法主要分为两类：基于对抗网络的融合方法以及基于非对抗网络的融合方法。基于对抗网络的融合方法旨在对抗训练过程中，通过设计损失函数来融合源图像主要特征。但是，该类方法存在以下局限性：网络难优化和难以设计包含源图像所有重要信息的损失函数。在基于非对抗网络的融合方法中，特征提取过程往往是通过无监督方式实现的，难以保证特征提取。因此，无论是基于损失函数设计的对抗学习，还是无监督学习，忽略源图像中的任何重要信息(如梯度、边缘、纹理、强度和对比度)，都将导致融合结果损失重要特征。

因此，网络的特征提取能力在多源图像融合中扮演关键作用。为了提升网络特征提取能力，本发明提出了基于自监督学习的交互式特征嵌入的多光谱图像融合网络，突破现有融合网络中对源图像特征提取全面的技术瓶颈，对于推动多光谱图像在其他领域的更深入应用具有重要意义。

发明内容

本发明的目的是为了提升网络特征提取能力，提出了基于交互式特征嵌入的多光谱图像融合方法。

本发明的技术方案：

一种基于交互式特征嵌入的多光谱图像融合方法，步骤如下：

步骤一：制作多光谱图像融合数据集

1)获取多光谱图像数据集，源图像I₁以及源图像I₂；

2)对步骤1)中的多光谱源图像I₁，I₂调整到高度和宽度一致；

3)对步骤2)中大小一致的源图像I₁，I₂，以固定大小的窗口、步长从上到下，从左到右滑动取图像块；

4)对步骤3)中获取的图像对，进行翻转、镜像操作，扩大训练数据集样本大小；

步骤二：设计自监督学习的交互式特征嵌入的多光谱图像融合网络，实现多聚焦图像融合

1)设计自监督特征提取模块，该模块包含两个结构相同的分支；每个分支由多个卷积层组成，每层的卷积核参数为3*3*f,其中f为卷积核个数；卷积层所提取的层级特征表示为F'_m、F”_m，m表示为第m层，范围为{1,2,...,M}；两个分支输入为宽度为W、高度为H的源图像I₁、I₂，输出结果为源图像重构结果该模块的loss函数L₁表示为：

其中，MSE表示均方误差，I_n为源图像I₁、I₂，表示源图像I₁、I₂对应的重构结果和