[发明专利]一种基于情景注意力神经网络的多模态情感识别方法

说明书

本发明属于多模态情感计算、深度学习领域，涉及一种基于情景注意力神经网络的多模态情感识别方法。通过本发明方法，针对情感多模态信息进行特征提取和基于注意力机制的特征融合操作，能够有效提取各模态之间的相互作用，然后将得到的特征向量送入神经网络。通过神经网络中嵌入的情景注意力模块来挖掘说话人个人情感依赖特征和全局对话情景特征在空间和通道上的关联性，达到更优的分类效果，更好地针对对话中目标说话人进行情感分析并做出情绪状态判断。

技术领域

本发明属于多模态情感计算、深度学习领域，涉及一种基于情景注意力神经网络的多模态情感识别方法。

背景技术

情感计算最早在1997年由MIT多媒体实验室Picard教授首次提出，旨在通过赋予计算机识别、理解、表达和适应人的情感能力来构建和谐的人机环境，并使计算机具有更加高效全面的智能。作为人工智能的重要分支，情感计算与分析不仅在实现机器智能化方面不可或缺，在舆论舆情监控、临床心理动态检测以及人机交互等领域更是十分重要。此外，随着移动设备的普及和互联网平台的不断发展，语音信号、文本文字、视频图像等多模态信息变得来越来越容易获取和处理。这为提升人机交互体验感提供了更加开阔的思路和更加便捷的技术手段。

近些年，深度学习在语音处理、图像分类和其他机器学习相关领域表现优异，这其中就包括人类的情感识别和认知理解，很多工作都是在卷积神经网络 (CNN)、循环神经网络(RNN)等及其变种模型上进行，取得了一定的进步。最初的研究多是通过表情或文字等单模态来识别目标人物的情感状态，而多模态之间相互的信息补给会对情感分析更有所助益。此外，相关心理学研究表明对话参与者的情感状态会受到情景情感状态的转变和影响，对话中存在情感传染现象，即相互作用的会话者有能力影响彼此的情感状态和行为。因此，有效提取各模态之间的依赖关系和捕捉对话中说话人的情感变化特征对于说话人情感识别至关重要。

由于不同模态是从不同的信道传达信息，因此有效的多模式融合模型在挖掘情感互补信息方面起着关键作用。不同阶段的融合是目前多模式情感特征融合的常规策略，例如决策级融合，特征级融合和模型融合。决策级融合是对每个模态进行试探性推断，然后将它们融合再进行最终预测，这很容易忽略每个模态之间的交互作用；而特征融合方法是将连接的特征直接输入到分类器中，或者使用浅层融合模型，这较难捕捉到模态间的动态关系。模型级融合方法结合了以上两种方法并加以利用，性能较好，但比较复杂。近年来，注意力机制由于其在时间融合模型中良好的性能而被广泛提及，该机制可以动态地关注时间上的相关形态特征。而对于捕捉对话中说话人情感变化特征的问题，目前多用循环神经网络或其变种模型来处理和预测时间序列中情感特征相互作用。

发明内容

基于上述对话中情感动态特征提取的难点，本发明提出了一种基于情景注意力神经网络的多模态情感识别方法。通过本发明方法，首先针对常见的情感多模态信息进行特征提取和基于注意力机制的特征融合操作，能够有效提取各模态之间的相互作用，然后将得到的特征向量送入神经网络。通过神经网络中嵌入的情景注意力模块来挖掘个人情感依赖特征和全局对话情景特征分别在空间和通道中的关联性，从而达到更好的分类效果，针对对话中目标说话人的情感进行分析并做出情绪状态判断。

为了达到上述目的，本发明采用的技术方案如下：

一种基于情景注意力神经网络的多模态情感识别方法，具体步骤如下：

S1：将视频中的对话部分划分为t条的语句U＝[u₁,u₂,…,u_t]，选取对话中所有说话人的多模态数据，多模态数据包括语音、文本和图像数据。

S2：针对步骤S1划分好的每条语句，在多模态数据中的各个单模态上分别进行特征提取，得到每条语句上的各模态的高维特征向量，即语音特征向量、文本特征向量、图像特征向量，具体特征提取方法如下：