[发明专利]一种基于增强注意力机制的多模态情感识别方法

说明书

本发明属于情感计算的技术领域，涉及一种基于增强注意力机制的多模态情感识别方法，通过多头注意力机制得到语音编码矩阵和预训练的BERT模型得到文本编码矩阵；将语音与文本的编码矩阵分别进行点乘，得到语音与文本相互的对齐矩阵，再将此对齐矩阵通过与原有模态编码信息进行校准，得到更多的局部交互信息，最后将各模态的编码信息、语义对齐矩阵、交互信息作为特征进行拼接得到各模态的特征矩阵；使用多头注意力机制对语音特征矩阵、文本特征矩阵进行聚合；经注意力机制将聚合后的特征矩阵转化为向量表示；将语音与文本的向量表示进行拼接，使用全连接网络得到最终的情感分类结果。本发明解决了多模态间交互的问题，提升了多模态情感识别的准确率。

技术领域

本发明属于情感计算的技术领域，特别是涉及一种基于增强注意力机制的多模态情感识别方法。

背景技术

早在1995年，情感计算概念就已经被提出，情感计算旨在赋予机器类人的观察、理解和表达各种情感的能力。近年来，我们虽然在图像处理、语音识别、自然语音理解上取得了极大的进展，但是距离建立一个高度和谐的人机交互环境还有着不可逾越的鸿沟。对人类复杂的情感表达进行建模非常具有挑战性，但这也是人机交互最基本问题亟待解决。

随着社交网络的持续发展，人们表达情感的形式也愈发多元，传统单一的情感识别模型，如仅仅使用语音信号的时域、频域以及相关联特性，已经不足以鉴别复杂的情感信息。而多模态情感识别，如在语音信号中，加入文本信息、面部表情后，可以传达出更加丰富的情感，捕获更多可能蕴含在语音之中的信息。因此，构建一种可融合多种模态信息的情感识别系统对改善和提升信息时代的人机交互环境具有巨大的意义。

在多模态的情感识别上已经有了一定的研究，但是绝大多数的多模态情感识别都遵循统一的框架，他们通过构建不同的子模型来捕获不同模态的数据的情感特性，再通过融合该特性对应到最终的情感类别上去。这样的做法保留了不同模态间的独立性，在实验阶段可以互不影响的对多个模态同步进行研究，但是却忽略了不同模态之间的关联性。比如语音和文本信号，就具有天然的对齐特性。本发明，通过利用局部对齐与全局连接的建模思想来捕获不同模态间的依赖性，融合模态间的互补信息，有效的提升了情感识别的效果，解决了模态间交互的问题。

发明内容

为了解决多模态情感识别中模态间交互的问题，本发明提出了一种基于增强注意力机制的多模态情感识别方法，其具体技术方案如下。

一种基于增强注意力机制的多模态情感识别方法，设有语音编码层、文本编码层、局部对齐层、全局连接层和预测识别层，具体包括如下步骤：

步骤一：在语音编码层，对语音信息提取FBank声学特征，再通过多头注意力机制对其FBank声学特征进行编码，得到语音信号的编码矩阵；在文本编码层，对文本信息通过预训练的BERT模型将文本中的每个字符转化为对应的向量表示，从而得到整个文本信息的编码矩阵；

步骤二：在局部对齐层，将语音与文本的编码矩阵分别进行点乘，得到语音与文本、文本与语音的对齐矩阵，再将此对齐矩阵通过与原有模态编码信息进行校准，得到更多的局部交互信息，最后将各模态的编码信息、语义对齐矩阵、交互信息作为特征进行拼接得到各模态的特征矩阵；

步骤三：在全局连接层，使用多头注意力机制对语音特征矩阵、文本特征矩阵进行聚合；

步骤四：在预测识别层，通过注意力机制将聚合后的特征矩阵转化为向量表示；将语音与文本的向量表示进行拼接，组合成一个融合语音信息与文本信息的特征向量，使用全连接网络得到最终的情感分类结果。

进一步的，所述步骤一对语音信息提取FBank声学特征具体包括：

将语音信号进行通过一个高通滤波器进行预加重处理；

将预加重处理后的信号，进行分帧处理，再将每一帧乘以汉明窗，提升每一帧的起始位置和结束位置的连续性；