[发明专利]基于哈希编码的跨模态数据检索方法、系统、设备及介质

说明书

本发明提供一种基于哈希编码的跨模态数据检索方法、系统、设备及介质，包括获取训练数据集，获取样本内的模态数据，采用符号函数对所述样本内的原始模态数据进行映射，构建目标函数，并迭代更新求解所述哈希投影矩阵，通过迭代更新求解后的所述哈希投影矩阵来计算测试数据集对应所述训练数据集的哈希编码，进而找出汉明距离最近的模态数据，作为所述跨模态数据检索的检索结果。本发明的基于哈希编码的跨模态数据检索方法、系统、设备及介质，以锚点间的融合相似度进行模态间的融合，并构建了模态内相似度保持项，解决了计算邻域点群相似度带来的高时间复杂度的弊端以及模态内相似度考虑缺失的问题，提高跨模态的检索效果和检索效率。

技术领域

本发明涉及跨模态数据检索技术领域，特别是涉及一种基于哈希编码的跨模态数据检索方法、系统、设备及介质。

背景技术

跨模态检索是多模态数据融合中的一个常见且极具挑战性的问题，旨在搭建桥梁以跨越各模态间的语义鸿沟，实现不同模态中语义相同或相似的实例的匹配，无论从准确率还是从检索速度来评判，目前可用的跨模态检索技术与实际应用需求仍有差距，值得深入研究。

近年来，有学者将深度神经网络与哈希算法进行了结合以优化汉明空间中模态间数据匹配检索机制，深度跨模态哈希算法(Deep cross-modal hashing,DCMH)使用负对数似然函数来保持模态间的相似度，搭建了一个端到端的跨模态学习框架；自监督对抗哈希(Self-Supervised Adversarial Hashing,SSAH)利用自监督语义生成网络(LabNet)从多标签标注中学习语义特征，分别搭建两个用于图像和文本的对抗网络(ImgNet和TexNet)，在公共的语义空间中将模态特定的特征联系起来，把语义特征和模态特定的特征同时输入两个判别网络，使得两个模态的特征分布在相同语义特征的监督下，最终趋于一致，跨模态汉明哈希(Cross-Modal Hamming Hashing,CMHH)基于深度学习，设计了指数分布的成对焦点损失函数(pairwise focal loss)，惩罚汉明距离超过汉明阈值半径以提升检索效率，取得了很好的效果。

基于深度学习的跨模态检索的训练时间较长，而基于浅模型的跨模态检索训练时间往往较短，因此在检索效率上有一定的优势，相较于利用了实例标签信息的跨模态哈希算法而言，无监督跨模态哈希算法的设计难度更大，但应用场景也更广泛，融合相似度哈希算法是近年来检索效果最优秀的浅模型无监督跨模态哈希算法之一，但是，此算法引入了邻域点群相似度捕捉单模态中数据的分布特征，时间复杂度很高，导致在训练样本量巨大的情况下，该算法会消耗大量的时间进行点群相似度的计算；同时，该算法的设计没有考虑单模态原始数据与其对应哈希编码的一致性，在一定程度上会对最优哈希编码的学习造成影响

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于哈希编码的跨模态数据检索方法、系统、设备及介质，用于解决现有技术中存在的不足。

为实现上述目的及其他相关目的，本发明提供一种基于哈希编码的跨模态数据检索方法，所述方法包括获取训练数据集O_tr＝{o₁,o₂,…,o_n}∈R^n×d，包含n个样本，每个所述样本对应的模态数目为m，d＝d₁+d₂+.....+d_m，所述训练集O_tr中第i个样本其中，m、n均为正整数，且m≥2，d_m为第m个模态所述样本的特征点数量，为第i个样本中第m个模态的特征向量；采用符号函数sgn(·)对所述样本内的原始模态数据进行映射，即以获得二值哈希编码B，其中，W为哈希投影矩阵，k代表每个所述哈希编码，r为所述哈希编码长度；构建FCCH目标函数，得到如下公式，并迭代更新求解所述哈希投影矩阵W：