[发明专利]一种基于增强注意力机制的多模态情感识别方法

摘要

本发明属于情感计算的技术领域，涉及一种基于增强注意力机制的多模态情感识别方法，通过多头注意力机制得到语音编码矩阵和预训练的BERT模型得到文本编码矩阵；将语音与文本的编码矩阵分别进行点乘，得到语音与文本相互的对齐矩阵，再将此对齐矩阵通过与原有模态编码信息进行校准，得到更多的局部交互信息，最后将各模态的编码信息、语义对齐矩阵、交互信息作为特征进行拼接得到各模态的特征矩阵；使用多头注意力机制对语音特征矩阵、文本特征矩阵进行聚合；经注意力机制将聚合后的特征矩阵转化为向量表示；将语音与文本的向量表示进行拼接，使用全连接网络得到最终的情感分类结果。本发明解决了多模态间交互的问题，提升了多模态情感识别的准确率。