[发明专利]基于图嵌入学习的图文跨模态检索方法

说明书

本发明属于多媒体信息检索技术领域，具体为基于图嵌入学习的图文跨模态检索方法。本发明首先提取图片和文本的数据特征，然后建立一个图文双层的近邻图，通过近邻图及标签信息以神经网络的框架来学习得到嵌入层；通过嵌入层可以将图片、文本两个不同模态的数据映射到一个可以直接度量相似度的统一空间；相对现有方法线性投影的方式，可以更好的近似映射后的流行空间；在嵌入层，用户可以直接检索出与查询样本最相近的目标样本，以此来实现图文的跨模态检索。本发明能有效地跨越了不同模态媒体之间的语义鸿沟，进而使得跨模态搜索引擎返回的结果更加准确。

技术领域

本发明属于多媒体信息检索技术领域，具体涉及基于图嵌入学习的图文跨模态检索方法。

背景技术

当前的移动互联网时代，由于智能移动终端的普及，每个人可以随时随地的发布与接收包括文本、图片、视频、音频等在内的多种模态信息，这带来了丰富的内容。然而，丰富的内容给我们带来更多的往往是选择的痛苦，获取真正需求的信息变得愈发困难。在当前的Web3.0时代，丰富的信息需要经过精准的筛选呈现在用户面前，对于检索系统，需要以用户为中心提供精准化的检索与服务。而当前的检索仅仅停留在单模态阶段，当前主流搜索引擎，比如Google，可以做到用户输入文本返回系列图片，但这种检索依赖的是图片本身标注好的文本信息，所以本质上仍然是以文本搜索文本的单模态检索。在面向Web3.0时代的今日，传统的单模态信息检索已经不能满足用户对个性化信息的需求，我们希望做到“盲人摸象”，一个盲人摸到一个大耳朵，搜索一下便可知道摸的是头大象。跨模态信息检索实际应用性很强，比如，找到最匹配给定图像的文本，给一段描述找到最适合的插图等。因此，跨模态信息检索技术有着重要的研究意义。

现有技术通过线性投影矩阵将不同模态的多媒体数据映射到统一子空间，然后在这个学习到的子空间里度量不同模态的多媒体之间的相似性，以此来实现跨模态检索。但在当前如此复杂的数据背景下，线性投影直接刻画映射空间并在此空间上度量相似度是不太现实的。

发明目的

针对于上述的状况，本发明的目的在于提出一种可实现图文的跨模态检索，且效率高的基于图嵌入学习的图文跨模态检索方法。

本发明的目的在于提出基于图嵌入学习的图文跨模态检索方法，首先提取图片和文本的数据特征，然后建立一个图文双层的近邻图，通过近邻图及标签信息以神经网络的框架来学习得到嵌入层；通过嵌入层可以将图片、文本两个不同模态的数据映射到一个可以直接度量相似度的统一空间；相对现有方法线性投影的方式，可以更好的近似映射后的流行空间。在嵌入层，用户可以直接检索出与查询样本最相近的目标样本，以此来实现图文的跨模态检索。

本发明提出的基于图嵌入学习的图文跨模态检索方法，分为如下三个步骤：

(1)收集图片、文本数据样本，建立图文跨模态检索数据库，并分为训练集与测试集，提取所述数据库的特征，建立图片、文本特征库，根据特征信息建立图文近邻图；

(2)通过图片、文本训练集的标签信息及图文近邻图的结构训练学习得到嵌入层，该嵌入层作为可直接计算不同模态数据相似度的统一空间；

(3)对于查询集中的一个图片/文本数据，在嵌入层中计算相似度，根据多媒体数据之间的相似度，检索得到与它最为相似的文本/图片数据，从而达到图文跨模态检索效果。

本发明中，步骤(1)的操作流程如下：

(1)通过网络爬虫方式爬取维基百科，Flickr，Instagram,Facebook等主流网站的图文数据，这些网站图片种类丰富，并且对图片具有深层语义的描述，选取其中一一对应的图文描述，构建图文跨模态检索数据库；

(2)根据实际需要将所述数据库分为训练集和测试集，比如可将所述数据库中的80％的数据划分为训练集，剩下的20％的数据划分为测试集；