[发明专利]一种基于相似性零样本哈希的跨模态检索方法

说明书

本发明公开了一种基于相似性零样本哈希的跨模态检索方法。提出了一种新的零样本哈希框架来充分挖掘监督语义信息，该框架将模态内相似性、模态间相似性、语义标签以及类属性联合起来，以指导零样本哈希码的学习。在该框架中，同时考虑了模态内相似性和模态间相似性。模态内相似性体现的是多模态数据的流形结构以及特征相似性，模态间相似性体现的是模态间的语义相关性。此外，将语义标签与类属性嵌入到哈希码中，为每个实例学习更具判别性的哈希码。然而，由于类属性的嵌入，在哈希码中可以很好地捕捉可见类和不可见类之间的关系，从而可以将属性知识从可见类转移到不可见类中。本发明实现了对零样本跨模态数据更高精度的检索。

技术领域

本发明涉及一种基于相似性零样本哈希的跨模态检索方法，属于跨模态哈希检索领域。

背景技术

大多数现有的跨模态哈希检索方法都是在可见类数据集中进行研究。然而，随着多媒体数据的爆炸式增长，大量的新概念(不可见类)涌现出来。通过收集新概念的数据来重新训练现有的跨模态哈希模型是不可行的，因为这将会耗费大量的时间和空间。因此，提出一个训练数据不包含新概念，但它仍然可以处理新概念的跨模态哈希模型是必要的。然而，零样本学习可以识别从未见过的数据类别。即训练的分类器不仅仅能够识别出训练集中已有的数据类别，还可以对于来自未见过的类别的数据进行区分。这使得零样本学习成为了不可见类检索任务的研究热点。

在过去的几年中，零样本学习广泛应用于单模态检索任务中。一些研究者通过将标签投影到词嵌入空间，来实现潜在语义转移。一些研究者提出了一种基于非对称比率相似矩阵的零样本哈希，从而提高从可见类到看不可见类的知识转移能力。另一些研究者提出了一种用于多标签图像检索的零样本学习模型，该模型用实例概念一致性排序算法来预测不可见类的数据标签。然而，上述的工作都是在单模态检索任务上做的研究，在不可见类跨模态检索任务上所做的研究还较为匮乏。在新概念不断涌现的大数据时代下，现有的跨模态检索方法还存在以下问题：(1)现有的方法只考虑了可见类数据，而忽略了不可见类数据。因此，这样的模型不适用于大数据时代下的跨模态数据检索。(2)大多数方法在哈希码学习中未使用类属性信息，这样不利于知识从可见类到不可见类的转移。(3)现有的少量零样本跨模态检索方法未能同时使用模态内相似性、模态间相似性、类标签以及类属性来训练模型。

发明内容

鉴于以上存在的挑战，本发明提供了一种基于相似性零样本哈希的跨模态检索方法。本发明通过融合模态内相似性、模态间相似性、标签信息与类属性，以用于解决含有不可见类数据的跨模态检索问题。

为了实现本发明的目的，本发明所述的一种基于相似性零样本哈希的跨模态检索方法的技术方案是：本发明提出了一种新的零样本哈希框架来充分挖掘监督语义信息，该框架将模态内相似性、模态间相似性、语义标签以及类属性联合起来，以指导零样本哈希码的学习过程。在该框架中，同时考虑了模态内相似性和模态间相似性。模态内相似性体现的是模态内各样本间的特征以及语义相似性，模态间相似性体现的是模态间的语义相关性。此外，将语义标签与类属性嵌入到哈希码中，为每个实例学习到更具判别性的哈希码。然而，由于类属性的嵌入，在哈希码中可以很好地捕捉可见类和不可见类之间的关系，从而可以将监督知识从可见类转移到不可见类中。本发明包括如下步骤：

Step1、获取跨模态数据集，进行跨模态数据集特征提取以及类属性向量提取；

Step2、跨模态数据集的处理：将现有的跨模态数据集处理为跨模态零样本数据集；原始数据集首先被划分为训练集和查询集，然后从原始数据集的所有类中随机选取20％的类作为不可见类，其余的类为可见类。对于零样本跨模态检索场景来说，本发明将原查询集中的不可见类对应的样本对作为新的查询集；将原训练集中可见类对应的样本对作为新的训练集；检索集由原训练集组成；

Step3、进行目标函数学习：融合模态内相似性、模态间相似性、语义标签、类属性、哈希码以及哈希函数学习到同一个框架中，以此来获得目标函数，学习更具判别性的哈希码；