[发明专利]基于深层主题模型的文本图像多模态检索方法

摘要

本发明公开了一种基于深层主题模型的文本图像多模态检索方法，可用于文本和图像多模态检索。其实现步骤为：(1)对训练数据和测试数据进行预处理；(2)初始化深层主题模型的超参数和共享参数；(3)训练深层主题模型；(4)用联合特征训练分类器；(5)用测试数据进行测试。本发明利用深层主题模型挖掘不同模态隐层之间由深到浅的联系，同时得到一个包含多模态信息的联合特征用于检索。

主权项

1.一种基于深层主题模型的文本图像多模态检索方法，其特征在于，对文本和图像的多模态数据进行检索，具体步骤包括如下：(1)对训练数据和测试数据进行预处理：(1a)从MIR Flicker数据集任意选取文本和图像形式的25000个带标签的数据，将其中15000个作为训练数据，10000个作为测试数据；(1b)统计训练数据与测试数据的文本数据中单词重复出现的次数，按照由多到少的次序进行排序，取前2000个单词作为词表，对每个文本，统计出现在词表里的单词次数，保存在一个向量里，向量的每一维上的值表示该文本出现单词的次数；(1c)提取每幅图像的特征，组成一个以特征维度为行数，图像总数为列数的图像特征矩阵；(2)初始化深层主题模型的超参数和共享参数；(3)训练深层主题模型：(3a)将预处理好的文本数据和图像特征数据输入泊松伽玛置信网络；(3b)按照下式，更新全局参数：其中，K_t‑1表示泊松伽马置信网络第t‑1层隐变量的维度，表示泊松伽玛置信网络第t层的全局参数矩阵中第k列，～表示等价关系符号，—表示右式所有参数符号，|表示条件概率符号，Dir表示狄利克雷分布，η^(t)表示第t层的狄利克雷分布的第一参数，表示第j个数据的泊松伽马置信网络第t层的层内增广矩阵中第v行第k列的元素，∑表示求和操作；(3c)按照下式，计算泊松伽玛置信网络第t层到t+1层间增广矩阵：其中，m^(t)(t+1)表示泊松伽玛置信网络第t层到t+1层的层间增广矩阵；(3d)通过对顶层参数的后验分布的吉布斯采样更新顶层全局参数；(3e)通过对隐变量参数的后验分布的吉布斯采样以更新泊松伽马置信网络第t层的隐变量参数(3f)将泊松伽马置信网络第一层的隐变量作为训练数据中文本数据和图像数据的联合特征；(4)用联合特征训练分类器：对从泊松伽马置信网络得到的联合特征做归一化操作，使其均值为0，方差为1，将其输入到一对多分类器one vs all中对其进行训练；(5)用测试数据进行测试：(5a)将测试数据输入到泊松伽马置信网络中，得到测试数据中文本数据和图像数据的联合特征；(5b)将联合特征输入到分类器中，分类器输出与数据对应的每一类概率；(5c)将分类器输出的对应每一类的概率值从大到小进行排序；(5d)对前50个概率值进行检索，统计50个概率值对应数据中包含正确数据的个数，计算正确数据个数和检索概率值对应数据个数的比值。