[发明专利]一种基于GCN的深度无监督跨模态检索方法

说明书

本发明公开了一种基于GCN的深度无监督跨模态检索方法，涉及跨模态检索技术领域，包括以下步骤：S1：利用GCN搭建文本编码器，将特征相近的文本实例联系起来，丰富文本特征，S2：使用Hadamard乘积对原始的模内相似度矩阵进行增强，提出增强注意力融合机制对不同模态的语义相似度矩阵进行融合，针对不同的实例的文本和图像相似度有不同注意力。本发明中，该机制能够随着数据集和样本的特征分布的改变而自适应地调整注意力；在三个公共数据集上的大量实验表明，所提出的DESAH方法可以学习更有效的哈希函数，以利于跨模态检索任务，并且基线方法相比，总体上显示了更高的检索精度。

技术领域

本发明涉及跨模态检索技术领域，尤其涉及一种基于GCN的深度无监督跨模态检索方法。

背景技术

随着大数据的高速发展，文本、图像以及视频等不同模态的数据也呈现爆炸式增长，海量的数据不仅仅是单纯的数量大，它们所蕴含的信息也更加丰富。近年来，由于深度哈希方法在跨模态检索任务中展现了其存储成本低和检索效率高的特点而备受关注。跨模态哈希方法旨在发掘不同模态数据之间的相关性，以实现跨模态相似性搜索。它将不同模式的数据投射到一个共同的汉明空间中去进行快速检索。

无监督方法就是只分析原始特征以揭示它们的内在关系以指导哈希学习，避免使用成本高昂的人工标注标签。由于只能分析原始特征信息，所以所学习的哈希码和哈希函数的准确与否高度依赖于可以从原始数据集中挖掘出有效信息的多少。这样一来，特征提取过程在哈希码和哈希函数的学习过程中就比较重要了。

尽管现存的方法取得了巨大的成功，但现存的无监督跨模态哈希方法仍然存在普遍的问题。一是文本所提取的特征不够丰富，稀疏的文本特征导致所构建的文本模态相似度矩阵指导效果较差。二是多模态的相似度矩阵不能做到自适应融合，不同的特征分布的数据集其权衡参数各有差异。

为此，我们设计了一种基于GCN的深度无监督跨模态检索方法用来解决上述问题。

发明内容

本发明提供一种基于GCN的深度无监督跨模态检索方法。

为解决上述技术问题，本发明提供的一种基于GCN的深度无监督跨模态检索方法，包括以下步骤：S1：利用GCN搭建文本编码器，将特征相近的文本实例联系起来，丰富文本特征，通过这种方式，可以显著的缓解文本特征稀疏问题；

S2：使用Hadamard

乘积对原始的模内相似度矩阵进行增强，提出了增强注意力融合机制对不同模态的语义相似度矩阵进行融合，针对不同的实例的文本和图像相似度有不同注意力，且该机制会随着数据集分布的改变自适应地调整注意力；

S3：在三个公共基准的大量实验表明，DESAH可以比其他无监督跨模态哈希方法更有效地优化哈希函数，我们利用GCN搭建了一个文本编码器，用以挖掘更多的文本语义特征；一方面，我们对原有的相似度矩阵进行了增强操作；另一方面，我们设计了一个基于增强相似度的注意力融合机制，使得每个实例的模态内相似度相互补充融合，形成了统一的模态间相似度矩阵，用以更好地指导哈希码的学习；与此同时，该机制还能够随着数据集和样本的特征分布的改变而自适应地调整注意力；在三个公共数据集上的大量实验表明，所提出的DESAH方法可以学习更有效的哈希函数，以利于跨模态检索任务，并且基线方法相比，总体上显示了更高的检索精度。

优选的，所述S2中使用Hadamard乘积对原始相似度进行了重新加权优化，得到高阶非局部相似度矩阵，再通过加权不同模态的相似度矩阵得到统一的相似度矩阵。

优选的，利用图卷积网络搭建了一个文本编码器提取文本实例的特征，构建文本A与其他文本的语义联系图，采用增强语义相似度矩阵，增强相似度操作。

优选的，所述检索方法主要包含两个编码器：E_x和E_y，分别对图像和文本特征编码，E_x和E_y建立在不同的基础网络框架上。