[发明专利]基于多模态融合的社交媒体信息情感检测方法

权利要求书

1.一种基于多模态融合的社交媒体信息情感检测方法，其特征在于，包含以下步骤：

从互联网平台获取信息记录，所述信息记录包含文本信息和图像信息；

从所述信息记录中获取多个特征信息；

对多个所述特征信息进行特征融合得到融合特征；

根据所述融合特征判断所述信息记录的种类。

2.根据权利要求1所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

所述从所述信息记录中获取多个特征信息的具体方法为：

从所述信息记录中获取对应的文本特征、文本单词对特征和图像特征。

3.根据权利要求2所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

所述从所述信息记录中获取对应的文本特征、文本单词对特征和图像特征的具体方法为：

根据所述信息记录的文本信息得到文本向量并从所述文本向量中提取出所述文本特征；

根据所述信息记录的文本信息得到文本单词向量并从所述文本单词向量中提取出文本单词对特征；

从所述图像信息中提取出图像特征。

4.根据权利要求3所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

所述根据所述信息记录的文本信息得到文本向量并从所述文本向量中提取出所述文本特征的具体方法为：

通过glove模型对所述文本信息进行处理得到所述文本向量；

通过Bi-LSTM网络从所述文本向量中提取出所述文本特征。

5.根据权利要求3所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

所述根据所述信息记录的文本信息得到文本单词向量并从所述文本单词向量中提取出文本单词对特征的具体方法为：

通过glove词向量对所述文本信息进行处理得到所述文本单词向量；

通过self-Attention网络从所述文本单词向量中提取出所述文本单词对特征。

6.根据权利要求3所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

所述从所述图像信息中提取出图像特征的具体方法为：

通过ResNet50网络从所述图像信息中提取出所述图像特征。

7.根据权利要求3所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

所述对多个所述特征信息进行特征融合得到融合特征的具体方法为：

将所述文本特征、所述文本单词对特征和所述图像特征输入共同注意力层；

所述共同注意力层分别以一个模态特征为条件对另外两个模特特征生成注意力特征，得到每个模态特征对应的两个所述注意力特征；

将每个模态特征对应的两个所述注意力特征进行平均得到每个模态特征对应的注意力权重；

将每个模态特征与其对应的所述注意力权重相乘得到每个模态特征的最终向量表示；

将三个模态特征对应的所述最终向量表示进行平均得到所述融合特征。

8.根据权利要求7所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

所述共同注意力层由两个编码器通道组成，每个通道都包含两个子层，第一个子层是Multi-Head Attention层，第二个子层是全连接网络，每个子层后面都采用残差连接然后进行层归一化。

9.根据权利要求1所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

采用两层全连接神经网络作为分类层，其中隐藏层和输出层的激活函数分别采用ReLu函数和sigmoid函数，损失函数为交叉熵。

10.根据权利要求9所述的基于多模态融合的社交媒体信息情感检测方法，其特征在于，

将所述融合特征输入所述分类层，所述分类层根据所述融合特征将所述信息记录分类成正面情绪或负面情绪。