[发明专利]一种基于双分支空谱全局特征提取网络的高光谱图像分类方法

权利要求书

1.基于双分支空谱全局特征提取网络的高光谱图像分类方法，其关键在于：该方法包括以下步骤：

S1)通过空间子网络提取高光谱图像的空间特征；

S2)通过光谱子网络提取高光谱图像的光谱特征；

S3)自适应融合两个子网络并通过Softmax分类模块进行分类。

2.根据权力要求1所述的双分支空谱全局特征提取网络的高光谱图像分类方法，其特征在于：所述步骤S1中，提取空间特征包括以下步骤：

步骤S11)整体的网络结构为编码解码结构以提取空间特征。编码解码的基本模块为空间卷积模块和2DCNN，该模块的结构如图5所示。整个编码解码结构呈对称形式，编码的第一层为空间卷积模块，它的深度卷积部分采用了32个7×7的卷积核和32个5×5的卷积核，点卷积部分采用了32个1×1的卷积核和32个1×1的卷积核。随后使用最大池化进行下采样，特征图经过第一层编码的尺寸为[H/2,W/2,32]。第二层为空间卷积模块，它的深度卷积部分采用了64个7×7的卷积核和64个5×5的卷积核，点卷积部分采用了64个1×1的卷积核和64个1×1的卷积核。随后使用最大池化进行下采样，特征图经过第二层编码的尺寸为[H/4,W/4,64]。第三层为2DCNN，使用了64个3×3的卷积核。特征图经过第三层编码的尺寸为[H/4,W/4,64]。而解码部分与编码部分完全对称，稍有不同的是，解码部分的上采样使用的是反卷积。

步骤S12)经过编码后，特征图已经具备了一定的高级语义信息，此时将得到的编码特征图输入到全局特征表示模块，该模块的原理图如图4所示。输入的特征图尺寸为[H/4,W/4,64],经过空间建模过后，特征图的尺寸变为[1,1,64]。变换部分中，瓶颈结构的压缩因子r设为16。经过变换部分以后，特征图的尺寸为[1,1,64]。最后将变换部分的输出与该模块的输入按照通道层逐层相乘。输出的特征图尺寸大小为[H/4,W/4,64]。

步骤S13)解码部分除了需要全局特征表示模块的输出，还需要编码部分下采样之前的特征，并利用跳跃连接的方式，将下采样之前的特征与解码部分上采样以后的数据进行通道维度的拼接。但是在拼接时，可能出现在空间尺寸上不匹配的情况，因此，还需要对上采样后的特征外围填充0，即保证和下采样前的特征空间尺寸匹配，也没有引入额外的信息。填充的规则如下：

H_p＝(H_down-H_up)/2

W_p＝(W_down-W_up)/2

上式展示了对上采样后的特征空间维度的上下各填充H_p个0，左右各填充W_p个0。其中H_down和W_down分别表示下采样前的尺寸，H_up和W_up分别表示上采样后的尺寸。

步骤S14)在下采样前的特征在拼接前，利用通道注意力进行增强，该模块具有端到端的可训练性，可以直接应用于通道特征的增强。使用通道注意力机制，捕捉通道间的间关系，细化通道特征，减少通道的冗余信息。

步骤S15)将下采样前的特征和上采样后的特征拼接并向后继续进行特征提取。

步骤S16)在上采样之前，插入空间注意力对空间特征进行增强。同样，该模块具有端到端的可训练性，可以直接用于特征图上，计算空间注意力。降低空间冗余信息，为不同的像素分配不同的权重。空间注意力的插入位置为第二次上采样之前和解码输出以后。

步骤S17)经过解码网络以后，特征图的大小为[H,W,32]，使用一层全连接层，将通道维度降维类别数大小L，得到空间子网络的输出F_sa∈R^H×W×L。

步骤S18)对得到的空间子网络在空间维度上展平，并根据索引记录样本像素的结果，索引后的输出为F_sa∈R^d×L。