[发明专利]一种鲁棒离散监督跨媒体哈希检索方法

说明书

本发明公开了一种鲁棒离散监督跨媒体哈希检索方法，通过学习一个鲁棒的两两样本间相似度矩阵挖掘异构样本间的语义关联，利用该方法可实现基于内容的跨媒体检索，该方法包括以下步骤：建立图像和文本数据集，并对数据集中的图像和文本样本分别提取视觉和文本特征；利用样本的类标签、图像和文本特征分别构建两两样本间相似度矩阵，并利用两两样本间相似度矩阵的低秩和样本噪声的稀疏特性学习一个鲁棒的两两样本间相似度矩阵；进而利用该鲁棒两两样本间相似度矩阵学习区分性更好的哈希码；对哈希函数施加范数正则项约束，以学习更为鲁棒的哈希函数；提出一种离散迭代优化算法，直接得到哈希码的离散解；本发明方法的学习一个鲁棒两两样本间相似度矩阵可以有效的抵抗样本中可能存在的噪声，从而大幅提高多媒体检索的性能。

技术领域：

本发明涉及一种鲁棒离散监督跨模态哈希检索方法,属于多媒体检索和机器学习领域。

背景技术：

近年来，互联网上每天都会产生大量的数据，这给多媒体检索任务带来了巨大的挑战，如何高效和有效查找近似样本成为迫切需求。哈希方法通过学习一组哈希函数将样本从原始特征空间映射到汉明空间，由于其在大规模应用中的计算速度快和节省存储空间，引起了研究者的极大的关注。哈希码比原始特征的存储成本低得多，同时通过汉明空间中利用XOR运算可以快速地计算样本之间的相似度。哈希方法已经得到了广泛的研究，但大多数研究仅关注一种模态，然而在因特网上相同语义的样本通常可表示为多个模态，这导致不同模态之间的异构语义鸿沟。例如，图像可以由视觉和相应的文本特征表示。另外，当用户提交查询样本给搜索引擎时，用户更喜欢搜索引擎返回多种模态的相似样本。因此，跨媒体检索引起了越来越多的关注。跨媒体哈希方法的目标是将异构样本映射到一个共享汉明空间，并在此空间保持样本的相似结构。具体地，对于相似的异构样本，在共享汉明空间中汉明距离要小，反之亦然。根据在训练过程中是否使用类标签，跨媒体哈希方法通常可以分为两类：无监督和监督方法。前者通常通过保持样本的模态内和模态间相似性来学习哈希码，而后者可以进一步结合类标签学习区分性更好的哈希码。最近的工作表明，结合样本的类标签可以提高检索性能。

虽然许多监督跨模态哈希方法已经提出，并取得了令人满意的结果，然而仍有一些问题需要进一步解决。首先，在现实世界中，样本可能含有噪音。但是，大多数监督跨模态哈希方法仅使用训练数据的类标签构造两两样本间相似度矩阵，而没有考虑样本中的噪声，例如：离群点。显然，这些噪声样本会严重损害两两样本间相似度矩阵的结构，从而误导哈希码的学习，导致检索性能降低。其次，哈希码的离散约束导致混合整数优化问题通常很难解决，大多数方法首先放松哈希码的离散约束，得到连续解，然后量化生成哈希码。然而，量化会导致信息丢失，使得哈希码的区分性能降低。

发明内容：

本发明的目的在于克服上述已有技术的不足而提供一种以学习性能更好的哈希码，提升算法的性能，以更好的抵抗噪声，提升了哈希码的区分能力，适用于现实网络数据的跨媒体检索的鲁棒离散监督跨模态哈希检索方法。

本发明的目的可以提供如下措施来达到：一种鲁棒离散监督跨模态哈希检索方法，其特征在于，该方法包括以下步骤：

第一步：搜集含有类标签的图像和文本样本对，构成图像、文本一一对应的跨模态检索的图文数据集；

第二步：分别对图像和文本模态样本提取特征，并分别对图像和文本模态样本的特征去均值，使两个模态样本的特征数据均值为0；

第三步：将数据集中的所有样本对随机划分为训练集和测试集；