[发明专利]语义多头注意力机制的高分辨率遥感影像多标签分类方法

说明书

本发明公开了一种语义多头注意力机制的高分辨率遥感影像多标签分类方法。本发明设计的方法能够定位图像的语义区域，自主地推理标签之间的关系。该网络包括三个模块：特征提取模块、语义敏感模块和语义关系构建模块。特征提取模块用深度卷积网络提取图像特征。语义敏感模块用于定位特征中地语义注意区域并生成内容感知的类别表达。语义关系构建模块用于推理内容感知的类别表达里标签关系来预测最终结果。实验表明，应用本发明的方法可以有效地定位语义区域并以更好的鲁棒性建立类别之间的关系，在多标签分类中具有更高的精度。

技术领域

本发明属于遥感图像处理技术领域，是一种具有局部感受野的多头注意力机制的语义关系学习方法，可应用于图像多标签分类。

背景技术

由于遥感场景的复杂性，高分辨率遥感图像的多标签图像分类比单标签图像分类更通用和实用。高分辨率遥感场景包括各种类别，它们之间存在相关性和差异。例如，对于类别之间的相关性，如：“道路”和“汽车”在遥感图像中经常同时出现，“草”和“水”伴随“高尔夫球场”，“机场”通常包含“飞机”。类别之间不仅有语义关联，还有空间位置关联。即使它们具有相同的要素类型，它们的空间关系也不同，它们可能属于不同的类别。如：道路在湖面或者桥上，它的类别属性是“桥梁”。如何构建类别之间的关系是多标签图像分类的一个至关重要的问题。良好的关系表达对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但实际中一般都是人工完成的，然而，人为的规定类别之间的关联是一件非常费力、主观式的方法，具有一定的局限性，而且它的调节需要大量的时间。

多头注意力机制可以自动的推理类别之间的关系，不需要人参与关系推理的过程，它是机器学习的一个分支，是当今AL领域最热门最前沿的研究内容。它考虑的是用自注意力机制来学习一个序列里每一个小序列与其它序列之间的关联，通过监督的学习方式来替代手工设计标签之间的关系。推理标签之间的关系不仅需要考虑标签之间的全局关系，更需要考虑标签之间的局部关系。基于DCNN的图像特征提取是图像多标签分类的重要步骤，然而，由于DCNN的卷积操作，DCNN的感受野受卷积核的影响，利用DCNN提取的特征主要关注短距离的关系，无法关注长距离的关系。而基于多头注意力机制的语义学习方法可以构建全局关系却无法构建局部感受野。有效地利用DCNN的局部感受野信息，使多头注意力具有局部的感受野可以提高标签关系推理的准确性，本发明针对上述现有技术中的不足，对现有的多头注意力方法进行了改进。

发明内容

本发明设计了一种具有局部感受野的多头注意力机制的语义关系学习方法，用于改善多头注意力机制缺乏局部感受野的能力，该方法能够定位图像的语义区域并自主的推理标签间的关系。该方法利用DCNN模型提取图像特征，在DCNN网络架构后端增加了语义敏感模块，以获取图像中与标签相关的语义区域，并通过语义关系构建模块，利用多头注意力机制来推理标签之间的关系，最后，通过分类器获得最终的分类结果。

本发明实现的具体步骤如下：

步骤1)，将样本放入输入到所构建的模型中进行训练，获得训练好的权重，所构建的模型包括特征提取模块、语义敏感模块、语义关系构建模块；

步骤2)，将测试区遥感影像作为输入源输入进步骤1)中的构建的模型；

步骤3)，利用特征提取模块对图像进行特征编码，得到特征图F，所述特征提取模块为DCNN模型；

步骤4)，将F输入语义敏感模块，得到内容感知的类别表达S；所述语义敏感模块包含两个分支，其中一个分支为一个1*1的卷积层，对特征图F进行尺度变换，得到F‘；另一个分支为1*1的卷积层和一个Sigmoid的激活函数，得到类别激活图A；最后将A与F‘相乘，得到内容感知的类别表达S；

步骤5)，将S输入语义关系构建模块，得到特征表达T；所述语义关系构建模块包含多头注意力机制的语义关系推理子模块、1*1的卷积层和Sigmoid激活层；每个多头注意力机制的语义关系推理子模块包含归一化层、多头注意力层MSA、归一化层和前馈网络FFN；