[发明专利]基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法

权利要求书

1.基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述方法包括以下步骤：

S1.构建初级特征提取模块，得到初级融合特征和高光谱特征。

S2.通过深度特征提取模块获取激光雷达的空间-通道特征。通过自注意力和多维注意力机制挖掘激光雷达数据潜在的通道特征。

S3.利用初级融合特征对激光雷达空间-通道特征进行特征增强，使其包含全局融合信息，并引导激光雷达特征学习高光谱空间特征，减小不同模态之间的差异。

S4.S1得到的高光谱特征与S3中增强后的激光雷达特征通过轻量级交叉注意力进行融合，并级联激光雷达特征，促进两种模态之间的交互。

S5.结合S1、S2、S3和S4构建基于通道特征增强与空间特征引导的融合分类网络。

根据权利要求1所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述S1的具体过程为：

初始高光谱数据的尺寸为C₁×W₁×H₁(W₀＝11，H₀＝11)，C₁指初始高光谱数据的波段数，不同的数据集波段数不同。初始激光雷达数据的尺寸为C₂×W₂×H₂(C₂＝1，W₂＝11，H₂＝11)，激光雷达数据依次通过卷积核数量为8，16，32的的卷积得到浅层激光雷达特征X_l，高光谱数据由PCA降维得到X_h。

为了得到初级融合特征，引导激光雷达数据参与之后的融合过程，高光谱和激光雷达分别进行两次卷积，两次卷积得到的特征图都进行相加操作：

Y₁＝Conv1(X_h)+Conv2(X_l)     (1)

其中Conv1，Conv2代表卷积核个数为128的卷积，Y₁代表第一层特征相加得到的特征图。对第一层得到的特征分别进行卷积并相加得到新的特征图，由下式给出：

Y₂＝Conv3(Conv1(X_h))+Conv4(Conv2(X_l))    (2)

其中Y₂代表第二层融合特征图，之后融合第一层和第二层的信息：

Y₃＝linear(Y₁)+Y₂    (3)

由于Y₁和Y₂的通道数不同，因此利用线性层对Y₁降维并与Y₂相加得到64通道特征图Y₃，即初级融合特征。本模块还产生了高光谱特征用于最终的特征融合，由下式给出：

X′_h＝Conv5(Conv3(Conv1(X_h)))    (4)

其中X′_h代表三层卷积特征提取的32通道高光谱特征图。

根据权利要求1所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述S2的具体过程为：

激光雷达特征首先通过一个Norm层和MLP层，之后经过Norm层和多维度注意力模块，最后通过Norm层和MLP层得到深度激光雷达特征：

X′_l＝MLP(MAttn(SA(X_l)))    (5)

SA表示self-attention，MAttn表示多维度注意力，MLP表示多层感知机，这三部分都包含了一个Norm标准化操作。

多维注意力机制从空间和通道两个维度对数据进行处理，以得到多维特征：

在空间维度上，Pool₁和Pool₂代表两个自适应平均池化操作，分别在宽和高维度上进行，得到两个小尺寸的特征图H和W。然后将这两个特征图相乘：

X₁＝MatMul(H，W)    (8)

X₁特征图维度为B×C×H×W，这个过程可以使模型更加关注特定的空间区域。

在通道维度的操作与空间维度类似，公式如下：

首先将特征图X₀转换为一个大小为B×(H×W)×C的三维张量。然后将C分解为C_h和C_w，此时可以将(H×W)看作新特征图的通道数，记为S，C_h和C_w看作新特征图的高和宽。Pool₃和Pool₄代表两个自适应平均池化操作，分别在新特征图的高C_h和宽C_w维度上进行，得到两个小尺寸的注意力特征图H′和W′。

在高和宽维度上进行两次自适应平均池化操作，得到两个小尺寸的注意力特征图并相乘：

X₂＝MatMul(H′，W′)    (11)

相乘得到一个新的特征图X₂，大小为B×(H×W)×C。为了融合X₁和X₂的信息，需要将X₂的大小重新转换为B×C×H×W，之后将二者的结果合并输出：

X₃＝Conv₃(Conv₁(X₁)+Cony₂(X₂))   (12)

X₁和X₂分别进行一次卷积，其中每个部分都通过GroupNorm进行标准化。最后，通过进行卷积操作并返回最终结果X₃。

根据权利要求1所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述S3的具体过程为：

以初级融合特征为先验知识，对激光雷达特征进行引导和增强。首先对初级融合特征进行两次卷积操作得到初级融合特征图：

Y_a＝Conv_a(Conv_b(Y₃))    (13)

Y_m＝Conv_c(Conv_d(Y₃))    (14)

Y_a和Y_m表示对初级融合特征图进行卷积操作得到的两个新特征图，使用一维卷积实现了映射的效果。新特征图用于增强激光雷达特征：

FEM(X′_l∣Y_a,Y_m)＝Y_a⊙X′_l+Y_m     (15)

它们分别与激光雷达特征做相加和相乘操作，FEM(X′_l∣Y_a,Y_m)作为特征增强模块的输出。

根据权利要求1所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述S4的具体过程为：

为了促进高光谱和激光雷达信息的交互，提出了一种新的特征融合方法。首先产生查询、键和值，这个过程的公式如下：

Q＝Conv_q(X_l),K＝Conv_k(X_h),V＝Conv_v(X_h)    (16)

其中Conv_q,Conv_k,Conv_v均一维卷积，将输入特征投影为查询、键和值,这样可以减少参数量，且获得的q,k,v更符合原数据分布，需要注意的是，q从激光雷达中产生，k和v从高光谱数据中产生，激光雷达数据能更加精准地定位到和它相关的键值对，从而在融合时更好地利用丰富的高光谱数据信息。融合过程首先计算Q和K的权重系数：

A(Q,K)表示通过计算得到的QK权重系数，表示缩放因子。之后以滑动窗口的方式计算注意力并聚合成最终结果：

L_s(i,j)表示以(i,j)为中心的空间尺寸为s的的像素局部区域,和分别表示滑动窗口注意力中的中心点的查询值以及当前位置键值对的值。N表示多头注意力的数目，n为当前注意力头。每个像素点都会产生一个键值对匹配机制计算注意力，最终将结果相加，得到聚合注意力特征F作为模块最终的输出。F与激光雷达特征级联，得到双倍通道数特征图：

F＝Concat(F,X_l)     (19)

F是聚合注意力特征，X_l是激光雷达空间-通道特征。

对高维特征图进行池化会损失更多的信息，因此首先将级联后的特征图利用线性层降维，之后利用自适应全局平均池化和线性层得到最终结果：

F′＝Linear₂(GAP(Linear₁(F)))       (20)

Linear₁和Linear₂代表两个线性层，GAP代表自适应全局平均池化，F′表示模块的输出。

2.根据权利要求1所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述S5的具体过程为：

所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法包含一个初级融合特征提取模块、一个深度特征提取模块、一个特征增强模块和一个特征融合模块。