[发明专利]一种基于双注意力机制的高光谱遥感图像分类方法

权利要求书

1.一种基于双注意力机制的高光谱遥感图像分类方法，其特征在于，包括以下步骤：

11)训练样本的获取：获取待训练的高光谱影像并进行预处理；

12)堆栈自编码器的构建和训练：对堆栈自编码器进行构建设定，然后将预处理后的高光谱影像输入堆栈自编码器中进行训练，得到训练完成的堆栈自编码器模型和降维处理后的待训练高光谱影像；

13)构建混合密集网络：以3D卷积神经网络模型与2D卷积神经网络模型为基础，建立具有两个特征提取分支联合的混合密集网络；

所述构建混合密集网络包括以下步骤：

131)搭建3D卷积神经网络模型，并引入密集连接，创建3D密集网络学习模块，基本密集模块单元的计算公式如下：

X_l＝H_l[X₀,X₁,...,X_l-1]，l∈N⁺

其中，H_l表示第l层的隐藏层，X₀,X₁,...,X_l-1表示先前密集模块生成的特征图，X_l表示经过第l层隐藏层的输出；若每个隐藏层生成q个通道的特征图，则第l层将具有m₁+q×(l-1)个输入特征图，其中m₁为输入层的通道数；

首先，采用卷积核大小为a×a×a，通道数为n的3D卷积对输入数据进行空间光谱特征提取，随后将得到的特征输入到3D密集网络模块中进行更深层次的学习；

3D密集网络模块由三个3D卷积快速连接，其中(w×w×d,n″)为输入的高光谱遥感数据尺寸，其中w×w×d分别表示宽度、高度、光谱维度；

设x₀”、x₁”、x₂”分别表示第1层至第3层经3D卷积处理后的输出数据向量，卷积核大小采用a×a×a，每层统一使用m个通道数，并使用边界填充策略不改变输入的高光谱数据尺寸，每一层都与前面层和后面层concatenate连接，从而构建更深的网络结构；

132)搭建2D卷积神经网络模型，引入密集连接创建2D密集网络学习模块；

首先，采用卷积核大小为a×a，通道数为n的2D卷积对输入数据进行空间特征提取，然后将得到的特征输入到2D密集网络模块中进行进一步的学习；

2D密集网络模块为三个2D卷积的快速连接，其中(w×w×d,n″)为输入的高光谱遥感数据尺寸，其中w×w分别表示宽度、高度；

设X′₀、X′₁、X′₂分别表示第1层至第3层经2D卷积处理后的输出数据向量，卷积核大小采用a×a，每层统一使用m个通道数，并使用边界填充策略不改变输入的高光谱数据尺寸，每一层都与前面层和后面层concatenate连接；

133)混合密集网络模块在每个卷积层使用修正线性单元ReLU激活函数，其数学表达式如下：

ReLU为分段线性函数，将输入数据x与数值0相比，输出最大值，即把所有的负值全都变为0，同时正值保持不变；

134)混合密集网络模块在每个卷积层使用批量归一化处理，提高模型训练速度，对于一层具有d′维的输入向量X＝(X⁽¹⁾,X⁽²⁾,..,X^(d′))，对其每一维进行归一化处理：

其中，为开根号操作，表示第a层经过批量归一化的输出结果，X^(a)表示第a层的输入向量，E和Var分别表示输入特征向量的期望与方差函数；

14)混合密集网络的训练：将待训练的高光谱影像输入混合密集网络，并引入空间注意力及通道注意力，对待训练的高光谱图像中的空间光谱特征进行选择性训练；

所述混合密集网络的训练包括以下步骤：

141)将降维后的高光谱遥感影像进行边缘填充0操作，以便后续充分提取边缘特征，然后以每个地物样本为中心的邻域像素组成混合密集网络训练数据集，其每个样本大小为w×w×d的3D立方体；

142)在3D密集网络模块和2D密集网络模块后，分别设立卷积核大小为1×1×d、1×1，通道数为3m+n的3D和2D卷积层，得到三维与二维路径上输出特征图F_3D∈R^{w×w×c×n′}和F_2D∈R^w×w×n′，其中w×w为特征图尺寸大小，c为光谱维数，n′表示通道数；然后在3D和2D卷积层后设立通道注意力模块与空间注意力模块，分别在通道维与空间维上赋予相应的权重，选择性学习高光谱图像中的特征；

通道注意力模块首先对输入特征图F_3D整体分别进行全局平均池化和全局最大池化，压缩输入特征映射的空间维数，提高了通道注意的效率，生成两种不同的特征描述符和其维度均为1×1×n′；

然后，将这两种类型的特征描述符输入到共享网络中，该网络由二层卷积层和一层激活函数层组成，生成维度均为1×1×n′的特征图；

最后，使用元素求和合并输出特征向量，并通过sigmoid激活函数，得到通道注意力图CA(F)，通道注意力图是一个向量，包含各通道的权重系数，其长度与输入特征图的通道数量相同，值在(0，1)范围内，值越大，对应的通道越重要，反之亦然；

通道注意力计算过程用数学表达如下：

其中，F为输入特征图，δ与δ′分别表示sigmoid与relu激活函数，AvgPool为全局平均池化，MaxPool为全局最大池化，SN表示共享网络，W₀与W₁为共享网络的权重；在得到各通道的重要性权重CA(F)后，再将生成的权重向量与原输入特征图相乘，对各个通道的特征图赋予不同的权重，实现对各通道重要性的修正，最终得到输出特征图为F′_3D∈R^{w×w×c×n′}；

输出特征图F′_3D计算公式如下所示：

其中，CA(F)代表通道注意力图，表示矩阵乘法运算；

空间注意力模块首先对输入特征图F_3D整体在通道方向使用全局平均池化和全局最大值池化，生成两种不同的特征描述符：和并且这两种特征描述符其维度均为w×w×1；然后，通过联合操作得到一个输出特征描述符随后，使用一个附带sigmoid函数的卷积层，生成空间注意力图SA(F)；

通道注意力计算过程数学表达如下：

其中，δ表示sigmoid激活函数，f^N×N×N代表卷积运算，卷积核大小为N×N×N；

最后，将空间注意力图与输入特征相乘，以获得聚焦于信息最丰富区域的空间细化特征图，得到输出特征图为F″_3D∈R^{w×w×c×n′}，

输出特征图F″_3D计算公式如下所示：

其中，SA(F)代表空间注意力图，表示矩阵乘法运算，F为原输入特征；

对输入特征图F_2D的处理过程与F_3D类似，得到二维路径上的通道注意力输出特征图F′_2D和空间注意力输出特征图F″_2D；

143)将通道注意力模块与空间注意力模块输出端进行联合，建立双注意力模块；将通道及空间注意力修正后的高层特征与输入特征残差连接，并进行拼接操作，得到最终经残差双注意力模块修正联合后的输出特征F_RDA，计算过程如下所示：

其中，F为输入特征，F′为通道注意力特征，F″为空间注意力特征，得到双注意力模块的输出特征和数据尺寸分别为w×w×1、w×w，通道数均为2*(3m+n)；

然后将输出特征经BN-ReLU层，再分别通过Global Average Pooling 3D与GlobalAverage Pooling 2D得到数据尺寸均为1×160的空间光谱特征二维向量；

最后将两分支提取的空间光谱特征叠加，经过Flatten层展开，并采用Dropout层防止过拟合现象的发生，减少训练参数量，最终采用带有Softmax函数的全连接层，得到分类结果；

144)在网络训练过程中，通过反向传播机制对网络参数进行更新，具体使用分类交叉熵损失函数，其表达式如下：

其中，∑为求和操作，log为取对数操作，表示为预测值与真实值间的误差损失；Y_i＝{y₁,y₂,...,y_L}表示真实标签向量，表示预测标签向量；L为样本数，s为分类数；

145)将降维后的待训练数据集样本输入到基于双注意力机制的混合密集网络模型中进行训练，分别在空间维与通道维上赋予相应的权重，选择性学习高光谱图像中的特征，对不同特征分配不同的权重，进一步提高网络的特征提取能力,得到训练后的混合密集网络模型；

15)待分类样本的获取和降维处理：获取待分类的高光谱影像并进行预处理，再送入训练后的堆栈自编码器进行降维处理；

16)高光谱遥感图像分类结果的获得：将降维处理后的高光谱影像输入训练后的混合密集网络，得到高光谱遥感图像分类结果。