[发明专利]基于多模态融合的社交媒体信息情感检测方法

说明书

本发明公开了一种基于多模态融合的社交媒体信息情感检测方法，包含：从互联网平台获取信息记录，信息记录包含文本信息和图像信息；从信息记录中获取多个特征信息；对多个特征信息进行特征融合得到融合特征；根据融合特征判断信息记录的种类。本发明的基于多模态融合的社交媒体信息情感检测方法，关注了信息记录的文本部分的单词与单词之间的相互关系，使得对于信息记录的情感检测更为准确。

技术领域

本发明涉及一种基于多模态融合的社交媒体信息情感检测方法。

背景技术

随着互联网技术的快速发展，越来越多的人正在互联网上发表自己的观点和看法。一些社交媒体平台，如推特、微博等，已经成为用户表达自己情感的主要工具。如何从这些社交媒体平台上挖掘出用户的情感倾向已经成为国内外的一个热门研究领域。

现有的情感检测的方法一部分是只为文本数据开发的检测模型，但是随着越来越多的社交媒体平台允许发布一些多模态数据，如文本、图像等，单纯的只适用于文本数据的情感检测方法越来越受限。为了对由文本和图像组成的数据进行多模态情感检测，一些相关的研究工作使用多模态融合的方式将文本和图像特征连接起来进行情感检测。尽管这些模型取得了不错的结果，但是他们过于关注不同模态之间的不一致信息。

发明内容

本发明提供了一种基于多模态融合的社交媒体信息情感检测方法解决上述提到的技术问题，具体采用如下的技术方案：

一种基于多模态融合的社交媒体信息情感检测方法，包含以下步骤：

从互联网平台获取信息记录，信息记录包含文本信息和图像信息；

从信息记录中获取多个特征信息；

对多个特征信息进行特征融合得到融合特征；

根据融合特征判断信息记录的种类。

进一步地，从信息记录中获取多个特征信息的具体方法为：

从信息记录中获取对应的文本特征、文本单词对特征和图像特征。

进一步地，从信息记录中获取对应的文本特征、文本单词对特征和图像特征的具体方法为：

根据信息记录的文本信息得到文本向量并从文本向量中提取出文本特征；

根据信息记录的文本信息得到文本单词向量并从文本单词向量中提取出文本单词对特征；

从图像信息中提取出图像特征。

进一步地，根据信息记录的文本信息得到文本向量并从文本向量中提取出文本特征的具体方法为：

通过glove模型对文本信息进行处理得到文本向量；

通过Bi-LSTM网络从文本向量中提取出文本特征。

进一步地，根据信息记录的文本信息得到文本单词向量并从文本单词向量中提取出文本单词对特征的具体方法为：

通过glove词向量对文本信息进行处理得到文本单词向量；

通过self-Attention网络从文本单词向量中提取出文本单词对特征。

进一步地，从图像信息中提取出图像特征的具体方法为：

通过ResNet50网络从图像信息中提取出图像特征。

进一步地，对多个特征信息进行特征融合得到融合特征的具体方法为：

将文本特征、文本单词对特征和图像特征输入共同注意力层；

共同注意力层分别以一个模态特征为条件对另外两个模特特征生成注意力特征，得到每个模态特征对应的两个注意力特征；