[发明专利]一种基于TRANSFORMER特征融合的高光谱影像分类方法

说明书

本发明提供的是一种基于TRANSFORMER特征融合的高光谱影像分类方法，通过将空‑谱信息特征与深层关联信息融合，更有效地利用影像光谱特征与空间特征，显著提高图像的分类精度。提出方法包括空‑谱信息挖掘、基于Transformer的特征融合、预测三个步骤。空‑谱信息挖掘是通过影像转置和三通道卷积神经网络的构建，充分挖掘影像中包含的空‑谱信息；基于Transformer的特征融合是将三通道获取的影像分别输入Transformer的三个编码器中，然后利用解码器将空谱特征进行融合，获取融合的空‑谱特征；预测是将Transformer融合的空谱特征输入到softmax中，从而得到分类器的分类精度。

技术领域

本发明涉及高光谱影像分类方法，特别是涉及一种基于TRANSFORMER特征融合的高光谱影像分类方法，属于遥感信息处理技术领域。

背景技术

高光谱图像包含数百个连续的光谱带，它们携带着丰富的光谱信息，因此可用于作物分析、地质测绘、矿产勘探、国防研究、城市测量、军事监测和其他领域。然而，由于高光谱图像成像机理复杂、数据量大等特点，给高光谱图像分类工作带来了很大的挑战。

深度学习方法是目前较流行的高光谱分类方法，与传统的手工制作的特征相比，深度特征更加抽象、稳健，并且不受局部变化的影响。因此，许多研究人员致力于优化基本的网络框架。如，Li等人提出了一个有效的分类框架，使用深度信念网络（DBN）提取深度光谱特征，并采用主动学习算法迭代选择高质量标记样本作为训练样本。随后，Zhong等人提出了一种改进的DBN模型，其中在预训练阶段使用多变量DBN和标准化的微调程序。然而，DBN主要用于提取光谱信息，会丢失大量的空间信息。同样的问题也存在于一维卷积神经网络(1D CNN)中，它只作用于单一的光谱像素，而忽略了该像素周围的空间相关性。此外，递归神经网络（RNNs）也被用来学习光谱序列中各通道之间的依赖关系，例如Mou等人首次将RNNs应用于高光谱图像分类，其中RNNs使用了一个新的激活函数来分析高光谱序列数据。

然而，这又抛弃了原始HSI中包含的空间信息。为此，Zhang等人进一步改进了一维CNN，并设计了一维CNN-ConvcapsNet。使其能够提取空间特征。此外，二维CNN(2D CNN)已逐渐成为高光谱分类任务的主流骨干以提取有代表性的空间特征。Lee等人提出了一种上下文CNNs，它可以通过共同利用相邻单个像素的局部空间光谱关系，优化探索局部的上下文互动关系。然而，二维CNN只对（高、宽）维度进行卷积运算。这使得它无法从不同的维度上充分挖掘光谱和空间信息。Ying等人提出了三维CNNs（3D CNNs），它不依赖于任何预处理或后处理。同时，它可以有效地提取空间特征。然而，3D CNN比2D CNN更复杂，计算成本更高。为了降低3D CNN的复杂性并更好地利用。Roy等人将2D CNN和3D CNN结合起来，构建了HybridSN，其中3D CNN被用来提取提取联合空间-光谱特征，而2D CNN则进一步学习更抽象的空间表征。

在特征提取之后，融合是分类任务的另一个重要步骤。传统的融合是在特征层面（早期融合）或在决策分数层面（后期融合）实现的。对于特征层面的融合，其中深度特征是通过直接堆叠它们来融合的。对于后期融合。最常见的策略是统一权重融合。它为每个概率矩阵分配统一的权重值。然而，它们都没有考虑到特征之间的相关性。因此我们把目光投向了自然语言处理（NLP）领域，其模型更加灵活。Transformer是一个seq2seq模型（由编码器和解码器组成），已被广泛使用。Transformer是一个多头模型，它已经与CNN整合，用于不同的任务。例如，Zhang等人提出了一个新颖的双分支架构(即TransFuse)。它由一个CNN分支和一个Transformer分支组成，然后在BiFusion模块中融合。另一种方法其中的空间-光谱变换器（SST）是通过融合CNN和Transformer来构建的。同时Qing等人将注意力机制与Transformer的编码器结合起来，构建了一个端到端的空间-光谱转化器模型。该模型分别使用光谱注意机制和自我注意机制来提取HSI的光谱和空间特征。然而，大多数工作都是使用编码器进行特征提取，然后再直接输入分类器，Transformer的解码器的功能没有被充分发掘。