[发明专利]一种基于TRANSFORMER特征融合的高光谱影像分类方法

权利要求书

1.一种基于TRANSFORMER特征融合的高光谱影像分类方法，其特征在于，包括以下步骤：

S1：将原始高光谱影像进行主成分分析(PCA)处理；

S2：影像转置处理，令X∈R^B×M×N表示PCA后获得的图像立方体，其中B，M和N分别是通道数、高度和宽度，X₁和X₃是转置X后的图像立方体，其大小分别为B×N×M和M×B×N，X₂代表原始X；

S3：将X₁、X₂、X₃作为三通道卷积神经网络的输入，进行空-谱信息挖掘，三个卷积神经网络均由三维和二维卷积神经网络组成，将三通道卷积神经网络挖掘得到的空-谱信息的特征图分别表示为X_1new、X_2new、X_3new；

S4：将S3所述特征图X_1new、X_2new、X_3new，通过语义标记器传递转换为序列T₁、T₂和T₃；

S5：将T₁、T₂和T₃输入三个Transformer的三个编码器中，这三个编码器具有相同的结构，由多头自注意力（MSA）和多层感知模块（MLP）组成，来获取不同维度特征的更高层次关联信息T_1new、T_2new和T_3new；

S6：将空-谱信息特征图级联X_new=concat{X_1new, X_2new, X_3new}，同时将深层关联序列信息级联T_new=concat{ T_1new, T_2new, T_3new}；

S7：采用Transformer的解码器模块进行特征融合，将X_new和T_new融合，获得融合特征X_fusion，更有效地利用影像光谱特征与空间特征；

S8：从解码器获得的融合特征X_fusion直接输入预测模块进行分类。