[发明专利]基于图文语义嵌入的图文检索方法及系统

权利要求书

1.一种基于图文语义嵌入的图文检索方法，其特征在于，包括：

S1，利用图文语义嵌入模型对待检索目标以及数据库中各相应的待匹配对象进行特征提取，所述待检索目标为图像和文本中的一种，所述待匹配对象为图像和文本中的另一种，所述图文语义嵌入模型包括图像侧特征嵌入网络、文本侧特征嵌入网络和联合嵌入网络；

所述特征提取包括：所述图像侧特征嵌入网络以分组卷积的方式对图像进行特征提取，通过动态最大最小池化对提取到的图像特征进行编码，对编码结果进行标准化处理得到图像特征嵌入向量；所述文本侧特征嵌入网络对文本进行特征提取，得到文本特征嵌入向量；

S2，对所述图像特征嵌入向量和所述文本特征嵌入向量进行向量拼接与交叉后输入所述联合嵌入网络，以得到相应图像文本对的相似度；

S3，将相似度最高的预设数量个待匹配对象作为检索结果，并输出所述检索结果及相应的相似度。

2.如权利要求1所述的基于图文语义嵌入的图文检索方法，其特征在于，所述动态最大最小池化包括：

将提取到的图像特征展开为一维向量，将所述一维向量中最大的M个值作为前景特征，并将最小的N个值作为背景特征，M和N均为预先设定的参数；

利用残差网络计算前景特征权重和背景特征权重，所述残差网络的分支部分由两个瓶颈层和全局平均池化层组成；

根据所述前景特征权重和背景特征权重对所述前景特征和背景特征进行加权求和，得到动态最大最小池化后的编码结果。

3.如权利要求1所述的基于图文语义嵌入的图文检索方法，其特征在于，所述S2中向量拼接与交叉操作包括：

对所述图像特征嵌入向量和所述文本特征嵌入向量进行维度对齐，并对相应维度的元素分别进行相加、相减、相乘和相除，得到相应的特征交叉结果；

将各所述特征交叉结果、所述图像特征嵌入向量和所述文本特征嵌入向量进行联合拼接，得到交叉特征向量。

4.如权利要求1所述的基于图文语义嵌入的图文检索方法，其特征在于，所述文本侧特征嵌入网络包含简单递归单元，所述简单递归单元的记忆门中添加有隐含状态单元，用于分离输出以及输出的部分计算，以并行计算多个时间步的输出。

5.如权利要求1-4任一项所述的基于图文语义嵌入的图文检索方法，其特征在于，所述S1之前还包括：采用配对方式构建训练样本，并以最小化三元组先验损失函数为目标，利用所述训练样本训练所述图文语义嵌入模型，所述三元组先验损失函数为：

其中，为所述三元组先验损失函数，Θ为训练参数，为训练样本组成的集合，I_n、S_n分别为第n对训练样本中的图像、文本，N为训练样本的总对数，C_n为多个与第n个图像无关的文本的集合，D_n为多个与第n个文本无关的图像的集合，T(x_n,v_n,v_m)为三元组损失，x_n、x_m分别为第n、m个图像的图像特征嵌入向量，v_n、v_m分别为第n、m个文本的文本特征嵌入向量。

6.如权利要求5所述的基于图文语义嵌入的图文检索方法，其特征在于，所述S1之前训练所述图文语义嵌入模型包括：

初始化并固定文本侧特征嵌入网络的训练参数，训练图像侧特征嵌入网络的训练参数；固定图像侧特征嵌入网络的训练参数，调节文本侧特征嵌入网络的训练参数；同时调节图像侧特征嵌入网络的训练参数和文本侧特征嵌入网络的训练参数。

7.如权利要求5所述的基于图文语义嵌入的图文检索方法，其特征在于，所述训练样本包括正样本和负样本；

所述正样本包括图像样本以及用于描述所述图像样本的多个文本样本，以及包括文本样本和用于描述所述文本样本的多个图像样本；

所述负样本包括所述图像样本以及与所述图像样本描述不符的文本样本，以及包括文本样本和与所述文本样本描述不符的图像样本。