[发明专利]基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法

说明书

本发明公开了基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法。以往的方法主要采用先提取后融合的思想进行融合，但这些方法过多地关注网络深层特征而忽略了初级特征。此外，很多方法中相同或类似的特征提取网络无法缓解不同模态间异构性带来的影响且采用的融合方式单一低效。本发明针对上述问题设计了一个包含通道特征增强模块与空间特征引导模块的融合分类网络。从两个模态中提取出空间特征并引导激光雷达空间‑通道特征，使其含有全局融合信息，利用轻量级交叉注意力融合高光谱特征与增强后的激光雷达特征。本发明在Houston2013和Trento数据集上进行了大量实验，证明了提出模型的有效性。

技术领域

本发明属于多模态遥感图像融合分类的方法，涉及计算机视觉技术领域。

背景技术

高光谱图像包括物体的二维空间信息和丰富的光谱信息，借助这些信息高光谱图像在土地覆盖分类任务、精准农业、生物医学成像、视频安全和军事领域展现出了广阔的应用前景。在这些任务中，土地覆盖信息分类受到了广泛关注。然而在一些复杂的地物条件下，仅使用单模态数据难以实现精确的分类。

随着遥感成像技术的进步，描述同一区域的多模态遥感数据出现的越来越多。高光谱数据旨在利用传感器接收从地面反射的电磁波来表征地面材料的特性。激光雷达使用脉冲激光聚焦地面目标的距离信息，数字表面模型DSM(digital surface model,DSM)是对LiDAR点云数据进行预处理后得到的图像版本，已成功应用于复杂场景中获取物体的高程信息。许多研究表明，综合利用高光谱和激光雷达数据可以发挥两者的优势，实现数据之间的属性互补。

现有模型的常见做法是将两种数据分别进行特征提取，利用相加或级联操作将两个特征图融合到一起，并利用全局平均池化和线性层得到最终的分类结果。在早期的研究中，研究人员往往借助机器学习方法得到分类结果。Zhang等使用非负矩阵分解对两个数据源进行特征提取和选择，并将得到的特征矩阵进行融合。然后，使用支持向量机对融合后的特征矩阵进行分类，得到每个像素点的分类结果。Liu等使用多层感知器这种传统机器学习方法对高光谱和激光雷达数据进行融合分类，首先对两个数据源进行特征提取和选择，然后将得到的特征向量进行拼接，之后使用多层感知器对拼接后的特征向量进行分类。Li等使用特征选择和支持向量机这两种传统机器学习方法对高光谱和激光雷达数据进行融合分类。

虽然传统机器学习方法已经比较成熟，但高光谱图像包含的丰富信息以及多模态数据之间的异构性使得传统机器学习方法受到了很大的限制。随着深度学习的进步，CNN等网络被引入遥感图像融合分类任务中来，之后也出现了越来越多的深度学习模型，研究人员开始探索更强大的特征提取方法和更有效的融合方法。

Y.Peng等设计了一个类似于三维ResNet的深度CNN来提取融合特征的光谱空间信息,将多数表决引入到使用每个融合特征训练的网络的分类结果中，以获得高置信度的最终结果。M.Zhan等为了利用多尺度信息来改进特征表示，提出了一种用于高光谱和激光雷达数据联合分类的多尺度特征融合网络。Y.Hu等提出了一种简单而有效的并联Transformer分类模型，取得了较高的分类准确率。Hong等设计了一种同时使用特征级和决策级融合的分类网络，利用三层卷积提取特征，并对后两个卷积层共享参数，引导卷积层之间的相互学习。最终融合特征由高光谱特征，融合特征以及激光雷达特征三部分相加而成，每一部分都包含一个可学习权重。实验结果表明，同时使用特征级和决策级融合策略可以提高分类精度。

尽管目前已经出现了相当多的融合分类模型，但多数模型仍然存在一些问题。相同或类似的特征提取网络不能适应多模态数据之间存在的数据冗余性和异构性。很多方法通常关注网络的深度特征，而忽视了初级特征。传统的相加或级联的融合方法会引入冗余信息，不能促进不同模态数据之间的交互，限制了整体分类性能。

发明内容