[发明专利]基于图嵌入学习的图文跨模态检索方法

摘要

本发明属于多媒体信息检索技术领域，具体为基于图嵌入学习的图文跨模态检索方法。本发明首先提取图片和文本的数据特征，然后建立一个图文双层的近邻图，通过近邻图及标签信息以神经网络的框架来学习得到嵌入层；通过嵌入层可以将图片、文本两个不同模态的数据映射到一个可以直接度量相似度的统一空间；相对现有方法线性投影的方式，可以更好的近似映射后的流行空间；在嵌入层，用户可以直接检索出与查询样本最相近的目标样本，以此来实现图文的跨模态检索。本发明能有效地跨越了不同模态媒体之间的语义鸿沟，进而使得跨模态搜索引擎返回的结果更加准确。

主权项

一种基于图嵌入学习的图文跨模态检索方法，其特征在于，分为如下三个步骤：(1)收集图片、文本数据样本，建立图文跨模态检索数据库，并分为训练集与测试集，提取所述数据库的特征，建立图片、文本特征库，根据特征信息建立图文近邻图；(2)通过图片、文本训练集的标签信息及图文近邻图的结构训练学习得到嵌入层，该嵌入层作为可直接计算不同模态数据相似度的统一空间；(3)对于查询集中的一个图片/文本数据，在嵌入层中计算相似度，根据多媒体数据之间的相似度，检索得到与它最为相似的文本/图片数据，从而达到图文跨模态检索效果。