[发明专利]一种基于自适应量化多模态哈希检索方法及系统

说明书

本公开提供了一种基于自适应量化多模态哈希检索方法及系统，通过将异构模态转换为具有投影一致性的多模态因子，来探索不同模态之间的关系；通过利用具有代表性的原型近似多模态因子，将同构潜在特征转换为紧凑的哈希码，提出了一种新的多模态自适应权重方案；根据不同的查询内容自动计算适当的模态组合权值，可以建立不同模态之间的相关性，但不需要额外的超参数。在无监督自适应量化多模态哈希方法的基础上，将其扩展到监督学习模式，利用样本间语义标签来指导投影学习过程，提高了哈希码的识别能力，速度快，操作简单，保证了学习效率。

技术领域

本公开涉及多模态检索技术领域，特别涉及一种基于自适应量化多模态哈希的社交图像检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着信息技术的快速发展，多媒体数据的表现形式越来越多样化，包括图像、文本、视频、音频等。多模态数据爆炸式增长的同时，多模态检索问题也越来越受到人们的关注。多模态哈希能够将来自不同模态的多模态特征编码成紧凑的二进制码，有着检索速度快，存储开销小，能够有效的支持大规模图像检索的优点。根据哈希码的产生方式不同，多模态哈希方法可以分为两大类：基于投影的多模态哈希和基于量化的多模态哈希。基于投影的哈希首先通过模态间相关性的最大化将高维数据投影到一个连续的同构潜在空间中，然后通过样本阈值化将同构嵌入量化为二进制哈希码。基于量化的哈希主要关注如何生成一个由训练数据中的代表性原型构成的码本(Codebook)，其中每个代表性原型对应一个二进制代码。

本公开发明人在研究中发现，尽管基于投影的哈希虽然取得了显著的效果，但是采用投影和量化两个步骤来学习统一的哈希码过于简化。一方面，通过线性哈希函数不能有效地保持数据的内部结构，另一方面，通过简单的符号阈值化也不能保证最小的量化误差，这导致大量的量化损失，因此无法很好地捕捉到具有复杂内在结构的数据特征。近年来，基于量化的哈希算法多侧重于单模态哈希和跨模态哈希来建立具有鉴别能力的复杂数据关系模型，而对多模态哈希的关注较少。

目前现存的多模态哈希方法存在具有如下挑战：

(1)与单模态和多模态哈希方法不同，利用多模态特征的互补性是学习多模态哈希码的重要手段。然而，现有的多模态哈希方法都是采用固定权值来组合多个特征。它们采用权值参数来利用哈希学习中各视图之间的互补性和一个额外的超参来平衡正则化项。在实现过程中，超参的调整过程是不现实和低效的，特别是在在线查询阶段，查询的语义标签是未知的。此外，固定的权重无法对变化非常快，而且非常动态的查询样本进行查询。

(2)哈希学习本质上是一个离散优化问题。然而，现有的多模态哈希方法大多采用两步松弛+舍入的哈希优化策略，该方法首先对离散约束条件进行松弛，求解近似连续值，然后通过阈值化计算二进制码。这种松弛哈希优化策略会带来显著的量化误差，并导致次优解出现。而且，现有的离散多模态哈希方法主要采用离散循环坐标下降法(DCC)，该方法必须对哈希码进行逐位学习，这在处理大规模多模态数据时仍然非常耗时。

发明内容

为了解决现有技术的不足，本公开提供了一种基于自适应量化多模态哈希检索方法及系统，通过利用有代表性的原型来学习判别哈希码，能更好地逼近相邻关系，并且训练时间和存储成本低，解决了现有技术中进行图像检索时存在的参数问题和放松优化的问题。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于无监督自适应量化多模态哈希检索方法，包括以下步骤：

获取多模态检索数据，构造训练集、测试集和数据库集，每个样本均包括成对的图像和文本两个模态的数据；

将训练集中的两个模态的原始数据分别输入到预先构建的深度特征提取模型中进行多模态提取，得到提取后的多模态特征；