[发明专利]一种基于多模态注意力机制的情感分类方法

说明书

本发明公开一种基于多模态注意力机制的情感分析方法。本发明利用异构图不同节点之间的复杂的关系去构建多个模态之间的交互。在多个模态信息交互的过程中，将不同的模态信息汇聚到一个紧凑的多模态表示中，用于偏移文本模态信息在语义空间中的位置。同时，多模态注意力机制技术能够以一种细粒度的方式对于多模态信息做融合，因此能够很好的解决在多模态学习中存在的固有问题，即行为信息的变化频率通常快于文本信息的变化频率。通过实验发现，该方法在不同任务的情感分析取得很好的表现，说明多模态注意力机制应用在情感分析任务的可行性，是对当前情感识别领域的多模态融合框架提供了新的研究手段。

技术领域

本发明属于自然语言处理、视频、音频交叉领域内的多模态情感识别领域，具体涉及一种利用注意力机制，对多模态信息进行融合，将不同的单模态信息集成到一个紧凑的多模态表示中，从而判断被试情感状态的方法。

背景技术

情感分析领域通常包含文本、视频以及音频等数据。在先前的工作中，已经证实这些单模数据通常包含与情绪状态相关的识别信息。同时，经过大量的研究发现，这些存在于单模态数据之间的一致性和互补性可以有效地解释多模态数据内部的关联表征，进一步增强模型的泛化能力和鲁棒性，以及提高情感分析任务的性能。

现有的基于注意力机制的融合模型，能够从不同的单峰数据源中提取的信息集成到一个紧凑的多模态表示中。因此受到了越来越多的研究人员的关注。具体而言，以语言模态为基础，利用注意力机制分别得到另外两个模态信息(视频和音频)与语言模态信息之间的注意力系数，然后按照注意力系数进行融合。但是这只考虑了双模态之间的交互，忽略了多个模态信息的之间的存在的交互关系，极大的影响了模型的性能。此外，因为视频和音频行为的时间频率通常比文本高得多，这就导致了每一个发出的词语都有一系列伴随的视频和音频“子词”单元。然而，现有的多模态融合方法很少考虑到这一事实，也未能实现细粒度的多模态信息进行交互。从而影响最终的任务表现。

发明内容

本发明的一个目的是针对现有的多模态融合技术存在的不足，提出的一种基于多模态注意力机制的情感分类方法。首先，将对齐的多模态序列信息进行划分操作，得到细粒度的多模态信息。然后，将这些经过划分后的多模态序列数据组织成异构的多模态交互图。在这个交互图中，借助异构图节点之间的包含的丰富的交互性来捕获细粒度的多模态信息之间存在的丰富且复杂的交互关系，构成了文本、视频以及音频三个模态之间的交互。紧接着，在这个交互图上利用多模态注意力机制得到的紧凑的多模态表示用于偏移文本中的单词信息在原始的语义空间中的位置。由于对模态进行划分操作会破坏模态内部的连续性，因此以残差的方式，通过缩放因子合理的补偿模态内部的连续性，得到新的多模态表示。最后将这些新的多模态表示送入到一个大的预训练模型当中，从而进行情感识别任务。

本发明一种基于多模态注意力机制的融合方法，包括以下步骤：

一种基于多模态注意力机制的情感分类方法，具体步骤如下：

步骤1、获取不同情感类别下的多模态特征信息。

步骤2、对多模态特征信息进行预处理，抽取音频模态、视频模态和语言模态的初级表征h_v、h_a、h_l。

步骤3、异构的多模态交互图的构建：

3-1.将对齐的多模态数据进行分割操作。用一个三元组(L_k,V_k,A_k)表示第k个单词对应的三个模态特征信息。将语言、视频和音频模态分别划分为其中，N代表的是划分的节点数。将L_k、V_k、A_k依次连接，形成其中M＝3N。

3-2.针对每个语言模态节点分别计算其相对于自身及所有视频和音频模态节点的重要性e_ij如下：