[发明专利]基于多尺度细粒度哈希网络的跨模态遥感检索方法及系统

说明书

本发明具体涉及基于多尺度细粒度哈希网络的跨模态遥感检索方法及系统。所述方法包括：将待检索数据输入经过训练的跨模态检索模型中，输出语义相关的文本或图像结果；训练时，首先将遥感图像及对应的描述文本作为模型输入；然后提取遥感图像的多尺度融合特征，并引入冗余过滤器去除重复特征生成图像特征；其次提取描述文本的细粒度语义特征并结合图像特征进行视觉引导生成文本特征；再通过哈希检索网络将图像特征和文本特征转换为二进制哈希码，进而计算汉明距离并排序；最后通过损失函数优化哈希检索网络的网络参数直至收敛。本发明的跨模态遥感检索方法能够提高跨模态遥感图文检索的准确性、全面性和效率。

技术领域

本发明涉及跨模态检索技术领域，具体涉及基于多尺度细粒度哈希网络的跨模态遥感检索方法及系统。

背景技术

近年来，由于遥感卫星技术的进步，它在天气预报、环境监测和旅游导航等方面得到了广泛的应用，这也导致了遥感数据的爆炸性增长。因此，如何从海量的遥感数据中快速、高效和准确地提取预期目标成为研究人员关注和感兴趣的问题。

遥感数据检索方法一般可分为单模态检索和跨模态检索两大类。在单模态检索中，查询和检索数据属于同一模态，例如遥感图像检索，由于其数据类型相对单一，单模态检索往往能取得较好的检索效果。另一方面，跨模态检索是指查询和检索的数据处于不同的模态，而跨模态遥感图文检索在其中起着至关重要的作用，它通过给出查询的自然语言描述，从数据集中检索出视觉内容高度相关的遥感图像。

在跨模态遥感图文检索任务中，目前大部分工作通过将遥感图像和描述文本映射到一个公共的空间中来衡量它们之间的相似性。这些常见的公共空间特征学习方法需要占用大量的计算和存储资源，这在大规模的遥感图文检索任务中是很难实现的。

为了实现高效的检索速度和较低的存储开销，跨模态哈希方法受到了高度重视，并应用于高空间分辨率遥感图像中。虽然目前的跨模态哈希方法在遥感图文检索任务中取得了较好的性能，但其仍然存在以下问题：1)与自然场景图像相比，遥感图像中的显著地物较少，且地物的大小差异明显，这阻碍了检索模型对遥感图像内容的理解，导致跨模态遥感图文检索的准确性较低。2)现有跨模态哈希方法本质上是通过某种多标签格式来表示文本模态，将跨模态哈希检索转化为图像多标签匹配任务，然而多标签文本模态中包含较少的语义信息，忽略了日益丰富的遥感数据中许多细粒度语义信息(如时间、地点、目标状态等)，导致跨模态遥感图文检索的全面性不高。3)遥感图像中存在大量冗余对象，这些对象表示了相同的特征和语义信息，严重影响了检索模型的学习和检索效率。因此，如何设计一种能够改善跨模态遥感图文检索准确性和全面性的高效方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于多尺度细粒度哈希网络的跨模态遥感检索方法，能够提取遥感图像的多尺度融合图像特征以及描述文本的细粒度文本特征，并且能够通过视觉引导的方式实现图像特征和文本特征的动态学习融合，从而能够提高跨模态遥感图文检索的准确性、全面性和效率，并为跨模态检索提供一种新的思路。

为了解决上述技术问题，本发明采用了如下的技术方案：

基于多尺度细粒度哈希网络的跨模态遥感检索方法，包括：

S1：获取用户输入的遥感图像或描述文本作为待检索数据；

S2：将待检索数据输入经过训练的跨模态检索模型中，输出与其语义相关的文本或图像结果；

训练时，跨模态检索模型首先将用作训练样本的遥感图像及对应的描述文本作为模型输入；然后通过CNN网络和多尺度特征融合模块提取遥感图像的多尺度融合特征，并引入冗余过滤器去除重复特征，生成对应的图像特征；其次利用Bi-GRU网络和视觉引导注意力模块提取描述文本的细粒度语义特征，并结合图像特征进行视觉引导，生成对应的文本特征；再通过哈希检索网络将图像特征和文本特征转换为对应的二进制哈希码，进而计算对应哈希码的汉明距离并排序；最后通过损失函数优化哈希检索网络的网络参数直至收敛；