[发明专利]一种基于attention特征融合的多模态情感识别的方法

摘要

本发明涉及一种基于attention特征融合的多模态情感识别方法，本发明主要利用了文本、语音和视频三个模态的数据来进行最后的情感识别。首先我们对三个模态的数据分别进行特征提取。文本方面采用双向LSTM来进行文本特征的提取，语音模态采用卷积神经网络进行特征提取，而视频模态采用了三维卷积神经网络模型进行视频特征的提取。然后将三个模态的特征采用基于attention特征层融合的方式进行特征融合，改变了传统的特征层融合方式，充分利用了不同模态之间的互补信息，给不同的模态的特征赋予一定的权重，权重是和网络一起训练学习得到，因此更加符合我们的整个数据分布，很好的提高了最后的识别效果。

主权项

1.一种基于attention特征融合的多模态情感识别的方法，其特征在于，包括步骤如下：(1)对多个模态的数据进行预处理，使其符合多个模态对应的模型的输入要求；(2)对步骤(1)预处理后的多个模态的数据进行特征提取；(3)将步骤(2)提取到的多个模态的数据特征进行特征融合：采用attention机制，将步骤(2)提取到的多个模态的数据特征分别赋予一个权重，形成一个初始模态特征权重矩阵，通过训练学习，得到每个模态的数据特征的权重，之后将得到的每个模态的数据特征的权重与对应的每个模态的数据特征进行加权融合，得到联合特征向量，送到分类器进行分类；(4)训练模型；将步骤(1)预处理后的多个模态的数据打乱后，分成若干份，设定为N份，每次取N‑1份做训练，剩下1份做验证，做N次交叉验证，得到最终实验结果。