[发明专利]一种基于3D CutMix-Transformer的高光谱图像分类方法及系统

权利要求书

1.一种基于3D CutMix-Transformer的高光谱图像分类方法，其特征在于，包括以下步骤：

S1、将高光谱数据划分为有标签有标签训练数据集Train和有标签验证数据集Test；

S2、搭建CNN卷积神经网络，将步骤S1划分的有标签训练数据集Train输入CNN卷积神经网络，构建基于CNN的3D CutMix预训练模型；

S3、基于步骤S2的3D CutMix预训练模型构建高光谱图像分类区域级老师模型M_RL和样本级老师模型M_SL；

S4、通过集成步骤S3构建的高光谱图像分类区域级老师模型M_RL和样本级老师模型M_SL，以及步骤S1划分的有标签训练数据集Train共同训练学生模型M_S，再将步骤S1划分的有标签验证数据集Test输入训练好的学生模型M_S中，实现基于Transformer老师学生模型的高光谱图像分类。

2.根据权利要求1所述的基于3D CutMix-Transformer的高光谱图像分类方法，其特征在于，步骤S1中，有标签训练数据集Train占高光谱数据的80％，标签验证数据集Test占高光谱数据的20％。

3.根据权利要求1所述的基于3D CutMix-Transformer的高光谱图像分类方法，其特征在于，步骤S2具体为：

S201、搭建CNN卷积神经网络；

S202、将步骤S1划分的有标签训练数据集Train输入CNN卷积神经网络，得到每个像素元的分类结果；

S203、将步骤S202得到的每个像素元的分类结果与其包含的波段数据进行贡献率分析，得出贡献率最高的波段，遵循从候选中选择不超过波段数的5％的原则；

S204、根据步骤S203得到的对每个像素元分类结果贡献率最高的若干个波段进行3DCutMix的设计，得到高光谱数据的3D Mask，最终得到预训练的3D Mask预训练模型。

4.根据权利要求3所述的基于3D CutMix-Transformer的高光谱图像分类方法，其特征在于，步骤S201中，CNN卷积神经网络的输入层网络输入使用mat格式标准数据，并且将格式(L×W)×H的原数据进行去中心化和标准化处理，输出结果为F×H作为第一个卷积层的输入，F＝L×W，L为高光谱数据长边的像素数，W为高光谱数据宽边的像素数，H为高光谱数据的波段数，F为高光谱数据总的像素数；对CNN输入层权重进行0～1约束，若X_i^(j)输入权重大于0.5则为1，否则为0；

卷积层采用4x4大小的卷积核/过滤器，且卷积核每次滑动一个像素，一个特征图谱使用同一个卷积核，激活函数采用Relu函数。

5.根据权利要求3所述的基于3D CutMix-Transformer的高光谱图像分类方法，其特征在于，步骤S202中，每个高光谱图像数据表示为X_i^(j)，第j个像素元，j＝1，2，…，F，i＝1，2，…，H，对应的标签为L^(j)，采用多分类交叉熵损失函数如下：

其中，p＝[p₀,...,p_C-1]为一个概率分布，每个元素p_i表示样本属于第i类的概率；y＝[y₀,...,y_C-1]为样本标签的one-hot表示，当样本属于第类别i时y_i＝1，否则y_i＝0，C是样本标签数量。