[发明专利]基于多阶段注意力网络架构NMSNet的多模态情感识别方法和系统

说明书

本发明公开了一种基于多阶段注意力网络架构NMSNet的多模态情感识别方法和实施该方法的系统。该识别方法包括以下步骤：步骤一、对各个单模态特征进行简单的特征提取后，送入NAM残差模块；步骤二、对单模态特征进行特征选择之后，送入多头注意力网络进行特征融合；以及步骤三、融合之后的特征送入分段小波注意力模块进行滤波。本发明提出了一种新的多阶段注意力网络架构NMSNet，来学习多模态情感特征融合，通过上述步骤，最大程度上实现了注意力权重分配，使得模型专注于对情感识别更为重要的部分，同时构建了新的多阶段注意力网络架构NMSNet。

技术领域

本发明属于人工智能技术领域，尤其涉及一种基于多阶段注意力网络架构NMSNet的多模态情感识别方法和系统。

背景技术

随着人机交互技术的日趋成熟，情感识别任务应运而生，为了更好地感知个体的内心情感状态，提升人机交互的准确度和精度，人们开始记录各种各样的个体特征进行特征学习和情感识别。这些特征大体上分为两类：一类是非生理信号，如面部信息、语言信息、文本信息以及姿态信息等，另一类是生理信号，如脑电信息、心率、呼吸等外周生理信息。非生理信息的采集相对容易，数据处理的方法易于理解，直观可见，方便研究者进行理论学习，但同时又具有一定的伪装性，在一定情况下可能拥有与个体情绪相反的特征表达，对最终的情感识别结果造成较大影响。生理信号信息则是主体收到刺激之后的客观自然表达，不容易收到主观影响，准确度较高，但在采集方面有一些难度，其中脑电信号在情感分类识别任务表现突出，这是因为据研究表明，情感表达与脑区息息相关。此外，相较于单模态信号，多模态融合的方案在情感分类任务上表现更加优异，多模态弥补了单一模态信号源不足的缺陷，使得用于分类的特征信息更加完备、丰富，同时也符合情绪多元化的特点。

有鉴于此，有必要设计一种新的多模态情感识别方法和系统，采用脑电信号、外周生理信号和面部表情视频多模态融合的情感识别，利用三个模态信号之间的互补性，提升情感识别的效果，从而解决上述问题。

发明内容

本发明的主要目的是提出一种新的多阶段注意力网络架构NMSNet，来学习多模态情感特征融合，NMSNet网络包含单模态特征注意模块、多头注意力模块、分段小波注意力模块。本发明最大程度上实现了注意力权重分配，使得模型专注于对情感识别更为重要的部分，同时构建了新的多阶段注意力网络架构NMSNet。

为实现以上目的，本发明提供了一种基于多阶段注意力网络架构NMSNet的多模态情感识别方法，包括以下步骤：

步骤一、对各个单模态特征进行简单的特征提取后，送入NAM残差模块；

步骤二、对单模态特征进行特征选择之后，送入多头注意力网络进行特征融合；以及

步骤三、融合之后的特征送入分段小波注意力模块进行滤波。

本发明的进一步改进在于，步骤一中的特征包括脑电情感特征、外周生理特征以及面部表情特征。

本发明的进一步改进在于，在步骤二中，计算Q,K,V三种矩阵：

其中，分别是可以训练的线性变换参数矩阵。

本发明的进一步改进在于，在所述步骤二中，脑电外周通过多头互注意力机制的计算公式如下：