[发明专利]一种结合D3D的三分支三注意力机制高光谱图像分类方法

说明书

本发明属于光谱图像分类技术领域，公开了一种结合D3D的三分支三注意力机制高光谱图像分类方法，构建结合可变形3D卷积的三分支三注意力机制网络D3DTBTA‑Net，提取高光谱图像的光谱信息和空间信息；所述D3DTBTA‑Net分为光谱分支、空间X分支和空间Y分支，分别提取出光谱特征图、空间X特征图和空间Y特征图后，将三个分支上提取出的特征图融合进行分类。本发明能够根据训练好的深度学习模型，自动进行分类，无需输入任何参数和耗费大量的时间成本和人力成本去标注数据；通过可变形3D卷积和三分支三注意力机制能够提取出更具判别力的特征，从而提高分类精度，在训练样本数量有限的情况下仍然能保持好的分类性能。

技术领域

本发明属于光谱图像分类技术领域，尤其涉及一种结合D3D的三分支三注意力机制高光谱图像分类方法。

背景技术

目前，高光谱图像具有纳米级的光谱分辨率，能反映出不同地物在光谱维上的细微差异，大大提高了对地物的分辨识别能力。高光谱图像分类是利用高光谱图像中包含的丰富信息，为每个像元赋以唯一的类别标签，是高光谱图像应用的重要方面。然而，高光谱数据具有高维特性，高光谱图像中存在同物异谱和同谱异物现象，导致图像数据结构呈高度非线性，相邻波段及相邻像元之间具有较强的相关性；同时，高光谱图像中标签不足，训练样本往往数量有限，容易发生维数灾难。因此，如何在小样本的前提下，提取具有较强判别性特征和实现精确的分类是高光谱图像分类的关键。

传统的机器学习方法一般只利用了光谱信息而忽视了高光谱图像丰富的空间信息，导致分类精度较低；另外，需要花费大量的时间成本和人力成本去标注数据。基于卷积神经网络或者改进的更深网络的卷积神经网络在提取特征时，卷积核的采样位置通常是固定，不能根据图像的实际情况动态调整感受野的尺寸，从而更好的提取特征，限制了分类性能。而基于深度学习的高光谱图像分类方法对于小样本数据分类精度低。因此，亟需设计一种新的高光谱图像分类方法，以弥补现有技术存在的缺陷。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统的机器学习方法只利用光谱信息而忽视了高光谱图像丰富的空间信息，导致分类精度较低，且需要花费大量的时间成本和人力成本去标注数据。

(2)基于深度学习的高光谱图像分类方法对于小样本数据分类精度低。

(3)基于卷积神经网络或者改进的更深网络的卷积神经网络在提取特征时，卷积核的采样位置通常是固定，不能根据图像的实际情况动态调整感受野的尺寸，从而更好的提取特征，限制了分类性能。

发明内容

针对现有技术存在的问题，本发明提供了一种结合D3D的三分支三注意力机制高光谱图像分类方法，尤其涉及一种D3DTBTA-Net：结合D3D的三分支三注意力机制高光谱图像分类方法、系统、介质、设备及终端，旨在解决现有技术类中基于小样本的高光谱图像分类算法分类精度较低的问题。

本发明是这样实现的，一种结合D3D的三分支三注意力机制高光谱图像分类方法，所述结合D3D的三分支三注意力机制高光谱图像分类方法包括：构建结合可变形3D卷积的三分支三注意力机制网络D3DTBTA-Net，用于提取高光谱图像的光谱信息和空间信息；所述三分支三注意力机制网络D3DTBTA-Net利用包含的三个分支分别提取出光谱特征图、空间X特征图和空间Y特征图，并进行特征图融合、分类；所述三个分支为光谱分支、空间X分支和空间Y分支。

进一步，所述结合D3D的三分支三注意力机制高光谱图像分类方法包括以下步骤：

步骤一，数据集生成：生成三维立方块的集合，并将三维立方块集随机划分为训练集、验证集和测试集；

步骤二，训练模型和验证模型：训练集用于更新多次迭代的参数，而验证集用于监控模型的性能并选择训练最好的模型；

步骤三，预测：选择测试集来验证训练模型的有效性，获得分类结果。