[发明专利]基于在线深层主题模型的多模态检索方法

说明书

本发明公开了一种基于在线深层主题模型的多模态检索方法，属于图像处理技术领域，其思路为：确定J张图像和J个相应的文本为数据集，其中每个相应的文本为对应图像包括的若干个单词；对数据集进行预处理后，得到文本矩阵和图像特征矩阵；建立包括T层的泊松伽马置信网络，并得到文本矩阵的每一层变量权重矩阵；根据文本矩阵的每一层变量权重矩阵，并基于在线深层主题模型得到图像特征矩阵的最优全局主题参数矩阵和文本矩阵的最优全局主题参数矩阵；根据图像特征矩阵的最优全局主题参数矩阵和文本矩阵的最优全局主题参数矩阵，以及图像特征矩阵，得到文本矩阵的预测单词矩阵后作为本发明的一种基于在线深层主题模型的多模态检索结果。

技术领域

本发明属于图像处理技术领域，特别涉及一种基于在线深层主题模型的多模态检索方法，适用于快速挖掘图像-文本两种不同模态的深层联系、提取联合特征，并利用所提取的联合特征对文本-图像进行检索。

背景技术

多模态检索技术是利用联合学习不同模态特征，并挖掘不同模态特征之间的联系，得到包含多模态信息的联合特征，做到不同模态数据之间相互生成；在线深层主题模型ONLINE-PGBN(泊松伽马置信网络)是一种基于贝叶斯框架的在线深层主题模型，ONLINE-PGBN模型拥有多层网络结构，能够快速提取出数据的多层特征，在文本处理上优于传统主题模型；ONLINE-PGBN模型不仅可以应用于文本处理，还可以应用于图像处理。

多模态学习技术是指，联合学习不同模态特征，挖掘不同模态特征之间的联系，得到包含多模态信息的联合特征，做到不同模态数据之间相互生成；基于泊松伽马置信网络的文本-图像多模态学习方法的主要思想为：利用泊松伽马置信网络发掘不同模态隐层之间由深到浅的联系，同时得到一个包含多模态信息的联合特征表示用于检索。

K Sohn，W Shang，H Lee等人在其发表的论文“Improved multimodal deeplearning with variation of information”(International Conference on NeuralInformation Processing Systems,2014:2141-2149)中提出了一种基于深度神经网络的多模态检索方法，该种基于深度神经网络的多模态检索方法首先构建了多个基于不同模态特征的受限制玻尔兹曼机深度神经网络，受限制玻尔兹曼机网络层内无连接，在初始化网络参数后训练下一层网络，这就形成了一个两层结构的受限制玻尔兹曼机，将一个受限制玻尔兹曼机的输出单元作为另一个受限制玻尔兹曼机的输入单元，就形成了多层深度网络。

该种基于深度神经网络的多模态检索方法引入了基于对比散度和多预测训练的学习方法，向深层网络反复编码结构调整整个网络，然后共享这些特定模态网络的最高层，通过联合学习的方法训练整个神经网络并把共享的隐层(最高层)作为联合特征表示；该种基于深度神经网络的多模态检索方法虽然能够挖掘的不同模态特征之间的联系，但该种基于深度神经网络的多模态检索方法仍然存在的不足之处是：由于深度神经网络的“黑箱”特性，多层受限制玻尔兹曼机的隐层单元局限于二值，表达能力有限，从而基于深度神经网络的多模态技术不能确切描述不同模态特征之间的深层联系；同时，受限制玻尔兹曼机隐层与观测数据之间存在非线性映射，很难将隐层与观测之间的关系可视化。

上海交通大学在其申请的专利文献“基于主题模型的文章特征抽取方法”(专利申请号：201511016955.7，公开号：CN 105631018A)中提出了一种基于主题模型的文章特征抽取检索方法，该种基于主题模型的文章特征抽取检索方法基于原始语料库构建文章的引用关系网络，构建主题模型的生成模型和参数联合表达式，根据所述生成模型构建主题模型的推断过程，对新语料库采样文章，根据采样文章的采样结果提取文章参数。

该种基于主题模型的文章特征抽取检索方法虽然能够直接对多模态的输入建立概率模型，把联合特征的表示问题转化成贝叶斯模型的隐层分布推断问题；但是，该种基于主题模型的文章特征抽取检索方法仍然存在的不足之处是：受限于传统主题模型都是浅层模型，仅限于构建不同模态浅层的联系，不能挖掘模态之间更深层的联系，从而影响检索性能。