[发明专利]一种基于MIT和FSM的多模态情感分析方法

说明书

本发明提出了一种基于MIT和FSM的多模态情感分析方法，用以解决现有多模态情感分析方法在融合多模态信息时的技术性问题；其步骤为：首先，分别对文本模态数据、语音模态数据和视频模态数据进行预处理，提取文本特征向量、语音特征向量和视频特征向量；其次，将三个特征向量依次进行组合后分别输入Multimodal Interactive Transformer中进行辅助学习，分别得到三个学习后的特征矩阵；最后，将三个学习后的特征矩阵输入Feature Soft Mapping中映射到统一的语义空间中进行融合，得到融合特征；并将融合特征输入分类层，获取情感预测结果。本发明所提出的多模态情感分析模型能够充分考虑多种模态信息之间的关联，有助于在数据融合后进行情感分类。

技术领域

本发明涉及多模态情感分析技术领域，特别是指一种基于MIT和FSM的多模态情感分析方法。

背景技术

在创新2.0的时代背景下，多模态数据成为网络中的主流数据，不同情感粒度的多模态信息被情感主体并行地向外传播，这使得基于文本词性分析的传统情感分析方法难以适应而导致失败。多模态数据的融合已经成为制约多模态情感分析领域发展的瓶颈，必须设计一种在传统情感分析基础上加入多模态数据融合的新方法，保证多模态情感分析算法的鲁棒性。

目前多模态融合算法研究主要分为两类：基于特征融合方法和基于决策融合方法。基于特征融合方法将各模态的特征向量融合为一个多模态特征向量后再进行情感判断，这种方法能够抓取低级表征信息之间的关联。基于决策融合独立学习不同模态的信息进行局部情感分析，再将结果进行融合以获得最终的决策。这种融合方法能够针对各个模态语义空间的不同各自设计特征提取方法，以获取最优局部决策。上述方法存在两个明显问题：(1)多模态数据融合后仅能融合低级表征信息，无法捕获不同主体之间的情感互动；(2)不同模态之间存在语义空间屏障，无法令多模态信息之间进行语义交融。

因此，必须寻找一种既能捕获不同主体之间情感互动，又能打破语义空间屏障进行语义交融的融合方法，来保证多模态情感分析算法的性能。

发明内容

针对现有多模态情感分析方法在融合多模态信息时的技术性问题，本发明提出一种基于MIT和FSM的多模态情感分析方法，利用Multimodal Interactive Transformer能够捕捉模态之间的关联，Feature Soft Mapping机制能够将特征向量映射到统一的语义空间中，以打破语义空间屏障实现多模态信息的融合；结合两者所提出的多模态情感分析模型能够充分考虑多种模态信息之间的关联，有助于在数据融合后进行情感分类。

本发明的技术方案是这样实现的：

一种基于MIT和FSM的多模态情感分析方法，其步骤如下：

步骤一：分别对文本模态数据、语音模态数据和视频模态数据进行预处理，提取文本特征向量、语音特征向量和视频特征向量；

步骤二：从文本特征向量、语音特征向量和视频特征向量对应的模态中选择一个模态作为主要模态，其余两个模态作为辅助模态进行组合，得到三个组合，并将三个组合分别输入Multimodal Interactive Transformer中进行辅助学习，分别得到三个学习后的特征矩阵；

步骤三：将三个学习后的特征矩阵输入FeatureSoft Mapping中映射到统一的语义空间中进行融合，得到融合特征；

步骤四：将融合特征输入分类层，获取情感预测结果。

优选地，所述对文本模态数据进行预处理，提取文本特征向量的方法为：将文本模态数据进行分词处理，获取有效单词，并统计有效单词出现的频次作为共现矩阵X的元素x_(i,j)；使用GloVe模型将共现矩阵X嵌入到300维的文本特征向量中；其中，共现矩阵X的维度为z×z，z为独立词汇的个数，x_(i,j)表示单词i和单词j出现在同一个窗口中的次数。