[发明专利]一种零样本图像检索的语义增强哈希方法

说明书

一种零样本图像检索的语义增强哈希方法，属于计算机技术领域，包括：1)图像特征语义对齐；2)域结构保持；3)哈希编码学习；4)总目标函数的构建及优化；5)针对新数据的哈希函数学习。本发明主要针对大规模图像检索问题，由于大规模的图像数据从互联网中产生，对于一些新产生的事务和新的类别，现有算法很难收集到足够的新事物的训练图片来训练检索模型。因此，本发明利用类别语义空间作为图像视觉特征和二进制编码之间的中间过渡空间，实现视觉空间和类别语义空间的对齐，以达到知识从可见类数据到不可见类数据迁移的目标。实验验证表明，本发明能够有效地从可见类数据中学习知识，迁移到不可见类中，解决零样本图像检索的问题。

技术领域

本发明属于计算机技术领域，涉及一种零样本图像检索的语义增强哈希方法。

背景技术

近年来，哈希技术由于其在降低存储开销和加快检索速度方面的优势，已经在大规模图像和视频检索中得到了广泛的研究和应用。哈希技术将高维的图像和视频数据编码成简洁的二进制编码形式，或者成为离散编码形式，通常用0、1表示，这也正符合数据在计算机内存中的存储形式。如此，检索便能够在由二进制编码构成的汉明空间中执行，通过编码之间的异或位操作，能够大大提高检索速度。而哈希技术中的关键就是学习哈希函数以及二进制编码。

许多现有工作致力于设计新颖的哈希方法，其中早期的数据独立哈希方法，如局部敏感哈希，已被证明难以获得满意的检索效果。越来越多的方法集中在数据依赖哈希方面，这些方法大致可以分成有监督和无监督两大类。无监督方法大多采用数据本身的结构信息来保持二进制编码的结构，而有监督方法则利用标签信息，能够更好的保持语义信息。

然而，伴随着互联网的快速发展，数据呈现爆炸性增长，新事物也不断涌现，一些新出现的类别，称之为新事物，例如当时新出现的平衡车。现有方法由于是在一个封闭的环境中训练的模型，所以对于新事物的到来，难以应付。举例说明就是一个模型能够检索马、老虎、狮子等动物，但是突然出现了一只斑马，模型就无能为力了，因为模型从未见过斑马。模型的另一个缺点就是，难以对新事物收集足够的图片来重新训练模型，这样代价太高。

零样本学习正是解决此类问题的关键，已经越来越引起人们的注意。零样本学习就是在零个训练样本的情况下，仍然能够识别出新类别的数据。大部分方法都是引入一个额外的辅助数据空间，即类别语义空间。该空间可以是人为标记的属性空间，也可以是单词向量空间，能够表示新事物类别的语义。然而，现有的零样本学习工作很少关注图像检索问题，大部分集中在图像识别问题。

在现有的几个零样本检索工作中，它们更多地关注二进制编码和语义空间之间的链接，忽略了图像特征的语义对齐问题。此外，简单的线性投影不足以满足生成更具判别性的二进制编码。

为了解决以上问题，本发明设计了一种语义增强哈希方法，通过对齐图像视觉特征，来增强图像特征的语义信息，同时达到知识迁移的目的，使得学习的哈希函数既能够处理正常数据的检索，也能够应付新事物数据的检索。

发明内容

本发明针对零样本图像检索问题，探究一种基于语义增强哈希的方法，该方法采用类别语义空间作为图像视觉特征和二进制编码之间的过渡空间，将图像视觉特征对齐到与之对应的类别语义表示上，以增强图像视觉特征的语义信息。语义对齐能够使得模型具有泛化能力，能够从可见类数据中学习知识，并泛化到不可见类中，以解决零样本问题。在语义对齐过程中，不是简单的一个线性投影，而是带偏差的线性投影。此外，本发明还考虑了数据的域结构信息保持，提高二进制编码的判别性。

为了达到上述目的，本发明采用的技术方案为：

一种零样本图像检索的语义增强哈希方法，，所述的语义增强哈希方法采用带偏差的线性投影，提高判别性，包括以下步骤：

步骤1，通过一个带偏差的线性投影，将图像视觉特征映射到类别语义空间中，实现图像视觉特征的语义增强；