[发明专利]基于多尺度细粒度哈希网络的跨模态遥感检索方法及系统

权利要求书

1.基于多尺度细粒度哈希网络的跨模态遥感检索方法，其特征在于，包括：

S1：获取用户输入的遥感图像或描述文本作为待检索数据；

S2：将待检索数据输入经过训练的跨模态检索模型中，输出与其语义相关的文本或图像结果；

训练时，跨模态检索模型首先将用作训练样本的遥感图像及对应的描述文本作为模型输入；然后通过CNN网络和多尺度特征融合模块提取遥感图像的多尺度融合特征，并引入冗余过滤器去除重复特征，生成对应的图像特征；其次利用Bi-GRU网络和视觉引导注意力模块提取描述文本的细粒度语义特征，并结合图像特征进行视觉引导，生成对应的文本特征；再通过哈希检索网络将图像特征和文本特征转换为对应的二进制哈希码，进而计算对应哈希码的汉明距离并排序；最后通过损失函数优化哈希检索网络的网络参数直至收敛；

S3：将跨模态检索模型输出的与对应待检索数据语义相关的文本或图像结果作为对应的检索结果。

2.如权利要求1所述的基于多尺度细粒度哈希网络的跨模态遥感检索方法，其特征在于，步骤S2中，通过如下步骤提取多尺度融合特征：

S201：通过预先训练的ResNet模型提取遥感图像的图像全局特征v(g)；

公式描述为：

v^(g)＝f_CNN(I)；

式中：v^(g)表示图像全局特征；I表示输入的遥感图像；f_CNN表示ResNet模型；

S202：基于图像全局特征v^(g)，通过组合不同上采层的上采样特征生成对应的图像低级特征v^(l)和图像高级特征v^(h)；

公式描述为：

v^(l)＝Cat({L_k}_k＝1.2.3)；

v^(h)＝Cat({L_k}_k＝4，5)；

式中：v^(l)表示图像低级特征；v^(h)表示图像高级特征；Cat表示特征连接；Upsample表示上采样；L_k表示第k层上采样层；

S203：通过3×3和1×1的卷积核分别对图像低级特征v^(l)和图像高级特征v^(h)进行下采样，并连接下采样后的图像低级特征和图像高级特征生成对应的多尺度特征

公式描述为：

式中：表示下采样后的图像低级特征；表示下采样后的图像高级特征；表示3×3的卷积核；表示1×1的卷积核；PReLU表示激活函数；

S204：将多尺度特征和平均化后的图像高级特征v^(h)进行残差连接，生成对应的多尺度融合特征v^(lh)；

公式描述为：

式中：v^(lh)表示多尺度融合特征；Average表示平均化操作；+表示特征相加。