[发明专利]基于无监督加权哈希的遥感图像检索方法

说明书

本发明公开了基于无监督加权哈希的遥感图像检索方法，包括：基于加权相似结构的相似矩阵更新模块和一种新的自适应权重损失函数，解决了现有的深度无监督哈希方法无法在训练过程中优化伪标签、不同困难等级的训练样本对赋予相同权重的问题。

技术领域

本发明涉及图像检索方法领域，特别是基于无监督哈希的遥感图像检索方法。

背景技术

近年来，遥感观测技术发展迅速，在全球范围内收获了大量未经处理的遥感图像。因此，如何在大规模的遥感影像数据库中准确、高效地检索出所需的影像，成为一个越来越值得关注的方向。尽管基于内容的图像检索(CBIR)方法在医学图像、传统图像和视频图像领域取得了良好的研究进展，但关于基于内容的遥感图像检索(CBRSIR)的技术较少。

基于哈希的近似最近邻搜索方法因其高查询效率和低存储成本而被广泛关注。图像检索中的哈希算法是将遥感图像的有用特征表示为一系列的二进制哈希代码，从而来降低搜索成本，本专利同样从该角度来实现无监督训练下的遥感图像检索应用。

在自然图像检索领域，Deng等人(2019)根据图像特征的余弦距离，通过进行k-近邻搜索获得初始相似度矩阵；这种对语义相似度矩阵的监测被整合到一个对抗性学习框架中，来保留语义信息。Tu等人(2020)采用局部流形结构建立了局部类型的相似性结构，并使用对数损失函数优化了网络。在遥感图像检索方面，Li等人(2016)提出了一个协同亲和力合并来衡量遥感图像之间的相似度。Zhang等人(2020)通过结合具有高置信度和正常置信度的图像对构建了一个混合相似性矩阵。Sun等人(2021)提出了软伪标签来学习图像对的相似性。

现有技术一

大多数现有的无监督哈希算法只生成初始语义相似性矩阵作为伪标签。然而，在自然图像数据集上预训练的网络模型不能很好地生成遥感图像的特征表示。

现有技术二

Xiong等人(2019)采用中心损失函数，通过类内压缩和类间分散来学习遥感图像的特征。Cao等人(2020)提出了一个基于Triplet loss的深度测量学习CNN模型，用于遥感图像检索。Roy等人(2018)结合Triplet损失、表示惩罚和平衡损失来挖掘包含语义信息的度量空间.然而，由于Triplet损失存在局部优化的问题，用softmax函数代替铰链函数的全局最优结构损失，有效地解决了Triplet损失的问题。为了应对标准CNN模型在部分遥感图像检索中的性能不足，引入了图神经网络来优化对比度损失，并用于更好地获取图像区域内的局部相互作用(Chaudhuri等人，2019)。Liu等人(2020)提出了一种新的结果排序损失，以控制损失减少方向与优化方向一致，实现端到端的哈希学习优化。大多数损失函数都对样本对使用相同的权重。其目的是为了扩大非相似样本之间的距离，同时拉近相似样本之间的距离。

现有技术二的缺点

每种类型的两个样本图像对都有各自的困难样本，如果在训练过程中，困难样本对被错误地确定(例如，靠近假的正样本对或远离假的负样本对)，都会放大哈希学习误差。同时，许多方法的损失函数忽略了训练过程中数据的不平衡问题。在训练过程中的每一批输入图像中，相似图像对的数量只占总数的一小部分，导致在训练过程中对负样本的过度关注，造成负样本的过度拟合。

发明内容

为解决现有技术中存在的问题，本发明提供了基于无监督加权哈希的遥感图像检索方法；解决了现有模型无法在训练过程中优化伪标签、不同困难等级的训练样本对赋予相同权重的问题。

本发明的技术方案如下：

基于无监督加权哈希的遥感图像检索方法，包括以下步骤：

步骤S1：采用在ImageNet-1K上预训练的Swin Transformer模型对遥感图像集进行特征提取，对提取的深度特征进行双层K-NN计算，按照图像间的余弦距离进行排序，选取前k1个作为相似图像；