[发明专利]一种基于地点的多模态媒体数据主题提取模型

摘要

一种基于地点的多模态媒体数据主题提取模型：将所有地点的多模态媒体数据集和文本数据总体定义为基于地点的多模态媒体数据库；对经过自然语言处理后的文本数据进行三层贝叶斯概率模型的提取，得到初始文本特征向量集；采用颜色特征对每个地点的多媒体图像数据进行处理得到初始图像特征向量集；将所有地点的初始文本特征向量集和初始图像特征向量集进行集合定义为多模态媒体数据特征库；得到多模态媒体数据在同一空间下的特征向量集；得到基于地点的多模态媒体数据主题模型，计算主题模型中图像特征和文本特征之间的欧氏距离，实现对多媒体图像数据的文本标注。本发明避免了多媒体数据的模态单一性，实现了基于地点的多模态媒体数据的主题提取。

主权项

1.一种基于地点的多模态媒体数据主题提取模型，其特征在于，包括以下步骤：1)采集各个地点的多媒体图像数据和文本数据，得到各地点的初始多模态媒体数据集，将所有地点的多模态媒体数据集和文本数据总体定义为基于地点的多模态媒体数据库；2)在多模态媒体数据库中，对每个地点的文本数据进行自然语言处理后采用词袋模型得到文本中前1000～1500个单词，对经过自然语言处理后的文本数据进行三层贝叶斯概率模型的提取，去噪后得到初始文本特征向量集其中N₂为初始文本特征向量集中文本数据的数目，m₂为特征的维度；3)在多模态媒体数据库中，采用颜色特征对每个地点的多媒体图像数据进行处理，再经过三层贝叶斯概率模型处理、去噪后得到初始图像特征向量集其中N₁为初始图像特征向量集中图像数据的数目，m₁为特征的维度；4)将所有地点的初始文本特征向量集和初始图像特征向量集进行集合，将其定义为多模态媒体数据特征库；5)以多模态媒体数据特征库作为模型的输入，初始化模型参数，构建多模态媒体数据图结构，得到多模态媒体数据在同一空间下的特征向量集；包括：(1)根据初始图像特征向量集和初始文本特征向量集得到多模态媒体数据在同一空间下的特征向量集和特征映射之间的误差值关系式：其中：设定其中U₁是X₁转换到V₁的近似的过渡矩阵，U₂是X₂转换到V₂的近似的过渡矩阵；I为单位矩阵，O为零矩阵，n₀为Flickr图像数据的数量，n₁为Foursquare图像数据的数量，n₂为Foursquare文本数据的数量，D为对角矩阵；(A₁)_es代表图像e和图像s的相似度，(V₁)_e为图像e的跨域特征，(V₁)_s为图像s的跨域特征，L₁是拉普拉斯算子；(A₂)_es代表文本e和文本s的相似度，(V₂)_e为文本e的跨域特征，(V₂)_s为文本s的跨域特征，L₂是拉普拉斯算子；λ₁、λ₂、μ、α₁、α₂和γ为模型参数；其中d为要得到的特征映射的维度；(2)对误差值关系式中的λ₁、λ₂、μ、α₁、α₂、V₁和V₂初始化；(3)分别固定U₁、U₂、V₁和V₂并求导，不断重复求导过程直到误差值关系式具有设定的最小值，此时的V₁和V₂即为多模态媒体数据的特征映射，即不同模态数据在同一特征空间下的特征向量集；6)对得到的特征向量集进行K均值聚类，得到基于地点的多模态媒体数据主题模型，计算主题模型中图像特征和文本特征之间的欧氏距离，实现对多媒体图像数据的文本标注。