[发明专利]融合多尺度空洞卷积和三元组注意力的遥感图像检索方法

说明书

本发明公开了融合多尺度空洞卷积和三元组注意力的遥感图像检索方法，包括如下步骤：A)构建基于残差结构的基准网络；B)将残差结构中的卷积模块替换为多尺度空洞卷积模块，对图像特征进行增强；C)在采用多尺度空洞卷积模块构成的残差结构中嵌入三元组注意力模块，三元组注意力模块被嵌入在残差结构的每个残差块的最后一个卷积层后；D)构造在线标签平滑损失函数，将遥感图像数据输入残差结构中进行训练，并在训练过程中动态生成平滑权重矩阵；E)提取遥感图像的特征向量；(F)将遥感图像的特征与数据库图像特征进行匹配，检索最相似图像。本发明可以提取遥感图像的显著语义特征，能够有效提高检索精度。

技术领域

本发明涉及图像检索方法，具体地涉及融合多尺度空洞卷积和三元组注意力的遥感图像检索方法。

背景技术

遥感图像检索是根据某种相似性指标从遥感图像(库)中查询用户感兴趣场景或目标的过程，其是促进海量遥感图像共享和高效挖掘的关键技术之一。

但是受到海量遥感图像标注费时耗力且标注文本无法准确表达图像内容等问题的影响，以图像特征为相似性计算依据的基于内容的遥感图像检索(即“以图搜图”)成为了主流方法。近年来，以卷积神经网络为代表的深度学习方法能够从大量数据中提取图像的全局特征，大幅度提高了遥感图像检索的效果。

针对于此，虽然采用深度特征进行检索可以有效检索出所需图像，但受限于遥感图像目标丰富、背景复杂、尺度不一等特点，导致CNN提取的全局特征在部分场景中失效，从而使得检索精度有所降低。

发明内容

本发明所要解决的技术问题是提供融合多尺度空洞卷积和三元组注意力的遥感图像检索方法，其能够有效提高检索精度。

为了解决上述技术问题，本发明提供了融合多尺度空洞卷积和三元组注意力的遥感图像检索方法，包括如下步骤：

A)构建基于残差结构的基准模型；

B)将所述残差结构中的卷积模块替换为多尺度空洞卷积模块；

C)在采用所述多尺度空洞卷积模块构成的所述残差结构中嵌入三元组注意力模块，所述三元组注意力模块被嵌入在所述残差结构的每个残差块的最后一个卷积层后；

D)构造在线标签平滑损失函数，将遥感图像数据输入残差结构进行训练，并在训练过程中动态生成平滑权重矩阵；

E)提取遥感图像的特征向量；

F)将遥感图像的特征与数据库图像特征进行匹配，检索最相似图像。

优选地，在步骤B)中，将所述残差结构中的卷积模块替换为多尺度空洞卷积模块的方法为：

B1)将残差结构中的3×3卷积模块设置为空洞卷积模块；

B2)将上述空洞卷积模块的扩张率分别设置为[1,2,5,9]，形成多尺度空洞卷积模块。

进一步优选地，在步骤C)中，所述三元组注意力模块通过通道维度和空间维度之间的跨通道交互分别建模通道注意和空间注意。

优选地，所述三元组注意力模块的交互步骤如下：

C1)设定输入的特征图X∈R^H×W×C，该特征图的大小为H×W×C；

C2)分别对所述三元组注意力模块的三个分支的信息数据进行计算；

C3)将各分支所提取的信息进行平均池化聚合特征输出。

进一步优选地，所述三元组注意力模块的第一分支为空间注意力计算分支，通过将特征值输入后，经过通道池化和空洞卷积后，由Sigmoid激活函数生成空间注意力权重。