[发明专利]基于图嵌入学习的图文跨模态检索方法

权利要求书

1.一种基于图嵌入学习的图文跨模态检索方法，其特征在于，分为如下三个步骤：

(1)收集图片、文本数据样本，建立图文跨模态检索数据库，并分为训练集与测试集，提取所述数据库的特征，建立图片、文本特征库，根据特征信息建立图文近邻图；

(2)通过图片、文本训练集的标签信息及图文近邻图的结构训练学习得到嵌入层，该嵌入层作为可直接计算不同模态数据相似度的统一空间；

(3)对于查询集中的一个图片/文本数据，在嵌入层中计算相似度，根据多媒体数据之间的相似度，检索得到与它最为相似的文本/图片数据，从而达到图文跨模态检索效果；

步骤(2)的操作流程如下：

(a)对于每个数据x_i计算一个嵌入层该过程通过一层神经网络隐藏节点实现；

(b)在训练集上，对嵌入层通过逻辑回归做分类，采用类别交叉熵：

作为损失函数，其中：

N_s为训练分类的批量大小，C为类别个数，y_i为表征样本类别的独热码，W为全连接层的权重，b为常数项；通过最小化该损失函数，训练得到嵌入层；

(c)在图文双层的近邻图上，通过{x_i,x_j,γ}采样得到三元组，通过余弦距离：

计算两个节点在嵌入层上的相似度，通过最小化逻辑回归损失函数：

其中，N_g为训练图文双层近邻图的批量大小，γ为归一化参数；进一步训练学习得到的嵌入层；

(d)最终优化的目标函数为上述两项加权和，即：L＝L_s+λL_u，λ为权重，用以调节训练集、图文双层的近邻图损失函数的相对比例；通过自适应学习率的梯度下降方法，得到最终的嵌入层。

2.根据权利要求1所述的基于图嵌入学习的图文跨模态检索方法，其特征在于，步骤(1)的操作流程如下：

(1)通过网络爬虫方式爬取维基百科，Flickr，Instagram,Facebook等主流网站的图文数据，选取其中一一对应的图文描述，构建图文跨模态检索数据库；

(2)根据实际需要将所述数据库分为训练集和测试集；

(3)通过卷积神经网络提取图片的特征，通过隐含狄利克雷分布提取文本的特征，每个数据得到d^p维的向量其中图片维度为4096，文本维度为10；

(4)分别在图片、文本两个模态内建立两个单层近邻图，节点之间权值计算公式为：

其中，表示样本的前k个最近邻；

两层近邻图通过以下权值进行连接，即图片与文本描述同一内容，权值为1，具体公式为：

这样就得到了图文双层的近邻图。

3.根据权利要求1所述的基于图嵌入学习的图文跨模态检索方法，其特征在于，步骤(3)的操作流程如下：

将测试集中的数据作为查询数据，在嵌入层中计算查询数据与测试集中不同模态数据的余弦距离，距离越近就说明这两个数据越相似；根据多媒体数据之间的相似度，得到所述目标集中与它最为相似的多媒体数据，从而得到跨模态检索效果。