[发明专利]基于多任务注意力机制的高分辨率遥感图像地物提取方法

权利要求书

1.一种基于多任务注意力机制的高分辨率遥感图像地物提取方法，其特征在于，包括：

S1、对带有地物标签的高分辨率遥感图像进行切块，形成由图像块组成的训练数据集；

S2、利用训练数据集对地物提取模型进行训练，得到训练后的地物提取模型；所述地物提取模型采用编码器-解码器结构，编码器部分以遥感图像的RGB通道和IR通道分别作为两个分支的输入，通过多任务注意网络模块在编码过程中融合来自RGB和IR通道的互补信息从而形成用于语义分割的判别表示，并由解码器部分实现地物提取；

S3、将待提取地物的高分辨率遥感图像进行切块，得到与训练数据集中相同大小的图像块并分别输入训练后的地物提取模型中提取地物目标，所有图像块的提取结果按序拼接后得到高分辨率遥感图像的地物提取结果。

2.如权利要求1所述的基于多任务注意力机制的高分辨率遥感图像地物提取方法，其特征在于，所述编码器部分由两个分支网络组成，其中：第一分支网络的输入为遥感图像块的IR通道，其输入先经过卷积层，然后再依次经过第一残差块1、第一残差块2、第一残差块3和第一残差块4逐步生成细节递增的特征图；第二分支网络的输入为遥感图像块的RGB通道，其输入先经过卷积层，然后再依次经过第二残差块1、第二残差块2、第二残差块3和第二残差块4逐步生成细节递增的特征图；

两个分支网络之间具有4个多任务注意网络模块，第一残差块N和第二残差块N之间设置多任务注意网络模块N，N＝1,2,3,4；

对于任一多任务注意网络模块N，其均具有通道注意力子模块和空间注意力子模块；在所述通道注意力子模块中，同时获取第一分支网络中第一残差块N输出的IR特征图和第二分支网络中第二残差块N输出的RGB特征图作为输入，输入的IR特征图和RGB特征图经过连接操作后，依次经过自适应平均池化层、全连接层、Relu层、全连接层后由sigmoid函数输出归一化为(0,1)的IR注意向量和RGB注意向量，利用RGB注意向量对所述IR特征图进行加权生成IR注意特征，利用IR注意向量对所述RGB特征图进行加权生成RGB注意特征，最后将所述IR特征图与RGB注意特征逐项相加得到校正后IR特征图，将所述RGB特征图与IR注意特征逐项相加得到校正后RGB特征图；在所述空间注意力子模块中，将所述通道注意力子模块输出的校正后IR特征图和校正后RGB特征图进行连接操作后，再经过卷积层生成新的IR特征图和新的RGB特征图，将新的IR特征图和新的RGB特征图再次进行连接操作后经过Softmax操作，输出新的IR注意向量和新的RGB注意向量，利用新的IR注意向量对所述IR特征图进行加权，利用新的RGB注意向量对所述RGB特征图进行加权，两个加权结果逐项相加得到融合特征图，融合特征图与所述IR特征图逐项相加得到校正后IR特征图，融合特征图与所述RGB特征图逐项相加得到校正后RGB特征图；

第一分支网络中，第一残差块N输出的IR特征图与多任务注意网络模块N输出的校正后IR特征图经过残差连接后，作为第一残差块N+1的输入；第二分支网络中，第二残差块N输出的RGB特征图与多任务注意网络模块N输出的校正后RGB特征图经过残差连接后，作为第二残差块N+1的输入；第一个多任务注意网络模块1输出的融合特征图和最后一个多任务注意网络模块4输出的融合特征图均输入所述解码器部分，用于进行地物提取。

3.如权利要求2所述的基于多任务注意力机制的高分辨率遥感图像地物提取方法，其特征在于，所述两个分支网络中的卷积层的核大小为7，步幅为2。

4.如权利要求2所述的基于多任务注意力机制的高分辨率遥感图像地物提取方法，其特征在于，所述解码器部分中，首先使用1*1卷积层处理输入的融合特征图以调整通道数量，然后将处理结果进行双线性上采样操作，得到上采样结果；再对所述编码器部分中多任务注意网络模块1输出的融合特征图使用1*1卷积处理，处理结果与所述上采样结果连接后，经过3*3卷积来细化特征，最后进行双线性上采样，输出最终的地物类别分类预测结果。

5.如权利要求1所述的基于多任务注意力机制的高分辨率遥感图像地物提取方法，其特征在于，所述训练数据集中，图像块大小为256*256。