[发明专利]基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法

权利要求书

1.基于多任务学习与注意力机制的多模态融合情感识别系统，其特征在于：该系统包括单模态层、模态融合层和多任务学习层；单模态层负责识别情感信息经预处理后传输至模态融合层；模态融合层通过注意力机制分配信息；最终由多任务学习层将分配的信息进行分类后输出情感分类结果完成识别。

2.根据权利要求1所述的基于多任务学习与注意力机制的多模态融合情感识别系统，其特征在于：所述识别情感信息包括文本模态、语音模态和视觉模态，使用bert预训练模型、COVAREP声学分析工具和Facet面部分析工具完成预处理。

3.根据权利要求2所述的基于多任务学习与注意力机制的多模态融合情感识别系统，其特征在于：所述单模态层包括文本编码器、语音编码器和视觉编码器，分别引入并将文本模态、语音模态和视觉模态的信息进行编码；所述模态融合层包括注意力机制模块和模态融合模块；所述多任务学习层包括多任务输出模块和目标函数模块。

4.基于多任务学习与注意力机制的多模态融合情感识别方法，是基于权利要求1-3中任一一项所述系统为基础而实现的，其特征在于：首先在所述单模态层利用文本，语音和视觉三个模态私有的编码器引入包含上下文关系的单模态特征表示；其次，通过模态间的上下文交互注意力机制，获得不同模态间的交互信息；最后，由多任务学习层筛选并输出情感分类结果。

5.根据权利要求4所述的基于多任务学习与注意力机制的多模态融合情感识别方法，其特征在于：该方法的具体步骤如下：

步骤一，分别对文本、语音和视觉模态信息进行特征提取；

步骤二，利用注意力机制计算所述识别情感信息的权重并输出注意力结果；

步骤三，将步骤二获得的注意力结果进行模态融合，获得模态融合特征；

步骤四，利用多任务学习模块完成多个任务之间的知识共享；

步骤五，通过目标函数计算权值并输出情感分类结果完成识别。

6.根据权利要求5所述的基于多任务学习与注意力机制的多模态融合情感识别方法，其特征在于：步骤一中，所述特征提取过程细化为：

针对文本模态，使用bert预训练模型对文本进行特征提取，提取模型最后一层的第一个词向量作为句子的语义表示；

针对语音模态，将音频按每秒100帧的频率进行切分，再使用COVAREP声学分析工具提取了包括梅尔倒谱系数(MFCCs)、音高跟踪和浊音、清音分割特征、声门源参数、峰值斜率参数和最大色散商在内的低级的声学特征，生成综合各特征生成语音特征表示；

针对视觉模态，将视频按照每秒30帧的频率切割成图片，再使用了Facet面部分析工具提取的一组特征，包括面部标记、面部动作单元、头部姿势和视线轨迹，生成视觉特征表示，最后将语音与视觉特征输入BiGRU网络来捕获其时序特征，将结束状态的隐藏向量作为整个序列的特征表示。

7.根据权利要求5所述的基于多任务学习与注意力机制的多模态融合情感识别方法，其特征在于：步骤二中，所述注意力机制计算过程细化为：

步骤二一，将查询Q和每个键K进行相似度计算得到权重；

步骤二二，使用Softmax函数对这些权重进行归一化处理；

步骤二三，将权重和相应的值V进行加权求和得到最后的注意力结果。

8.根据权利要求5所述的基于多任务学习与注意力机制的多模态融合情感识别方法，其特征在于：步骤三中，所述获得模态融合特征过程细化为：

步骤三一，计算一对匹配矩阵，表示交叉模态信息；

步骤三二，通过逐行的Softmax函数计算所述一对匹配矩阵中每个话语的概率分布；

步骤三三，在多模态多话语注意矩阵上，计算模态注意表示，并将注意力分数与特征矩阵相乘得到的一对注意力表征矩阵；

步骤三四，最后将步骤三三中所述的一对注意力矩阵进行拼接，获得一个新的特征表示矩阵，完成模态融合特征过程。