[发明专利]一种基于增强注意力机制的多模态情感识别方法

权利要求书

1.一种基于增强注意力机制的多模态情感识别方法，设有语音编码层、文本编码层、局部对齐层、全局连接层和预测识别层，其特征在于，具体包括如下步骤：

步骤一：在语音编码层，对语音信息提取FBank声学特征，再通过多头注意力机制对其FBank声学特征进行编码，得到语音信号的编码矩阵；在文本编码层，对文本信息通过预训练的BERT模型将文本中的每个字符转化为对应的向量表示，从而得到整个文本信息的编码矩阵；

步骤二：在局部对齐层，将语音与文本的编码矩阵分别进行点乘，得到语音与文本、文本与语音的对齐矩阵，再将此对齐矩阵通过与原有模态编码信息进行校准，得到更多的局部交互信息，最后将各模态的编码信息、语义对齐矩阵、交互信息作为特征进行拼接得到各模态的特征矩阵；

步骤三：在全局连接层，使用多头注意力机制对语音特征矩阵、文本特征矩阵进行聚合；

步骤四：在预测识别层，通过注意力机制将聚合后的特征矩阵转化为向量表示；将语音与文本的向量表示进行拼接，组合成一个融合语音信息与文本信息的特征向量，使用全连接网络得到最终的情感分类结果。

2.如权利要求1所述的一种基于增强注意力机制的多模态情感识别方法，其特征在于，所述步骤一对语音信息提取FBank声学特征具体包括：

将语音信号进行通过一个高通滤波器进行预加重处理；

将预加重处理后的信号，进行分帧处理，再将每一帧乘以汉明窗，提升每一帧的起始位置和结束位置的连续性；

使用快速傅立叶变换将时域上的时序信号转化到频域上的能量分布；

频域上的能量分布在每个频带范围都有所不同，通过对频谱信号取模再平方得到语音信号的谱线能量；

将能量谱通过一组Mel刻度的三角形滤波器，以平滑频谱、消除部分谐波并突出共振峰；

对Mel滤波得到的特征矩阵取对数，对纵轴进行放缩，得到更具能量差异性的特征表示。

3.如权利要求2所述的一种基于增强注意力机制的多模态情感识别方法，其特征在于，所述语音信号设置固定分帧为100帧，以帧长20ms，帧移10ms为间隔，在Mel滤波上设置为200维度，通过对多余部分截断、不足补零填充，对每个音频信号提取转化为（100，200）的FBank声学特征表示矩阵，具体为：

使用多头注意力机制来对语音信号的序列结构进行建模，其公式表示如下：

其中，表示语音数据FBank特征，通过多头注意力函数，语音信号的每个FBank特征都会与其余特征进行Self Attention计算，首先，对于给定特征，令，进行线性变换：

其中，，，都是可以训练的参数，表示其所属的注意力头，每个多头注意力的计算都会将线性变换后的矩阵分割为8个相同维度大小的矩阵；

然后，使用缩放点积对每个注意力头进行相似度计算，该计算得到的每个FBank声学特征与其余特征之间的概率分布：

其中，表示矩阵的维度，对与的点积，使用维度的根号值进行缩放，将多个注意力头的输出矩阵进行拼接可以得到语音信号的全局特征：

最后通过层次标准化的方式，对全局特征进行横行规范，加快收敛的速度，同时一定程度的缓解过拟合。