[发明专利]一种基于相似性零样本哈希的跨模态检索方法

摘要

本发明公开了一种基于相似性零样本哈希的跨模态检索方法。提出了一种新的零样本哈希框架来充分挖掘监督语义信息，该框架将模态内相似性、模态间相似性、语义标签以及类属性联合起来，以指导零样本哈希码的学习。在该框架中，同时考虑了模态内相似性和模态间相似性。模态内相似性体现的是多模态数据的流形结构以及特征相似性，模态间相似性体现的是模态间的语义相关性。此外，将语义标签与类属性嵌入到哈希码中，为每个实例学习更具判别性的哈希码。然而，由于类属性的嵌入，在哈希码中可以很好地捕捉可见类和不可见类之间的关系，从而可以将属性知识从可见类转移到不可见类中。本发明实现了对零样本跨模态数据更高精度的检索。