[发明专利]基于方向自注意力机制和双向长短时网络的语音情感识别

摘要

本发明涉及一种基于方向自注意力机制的双向长短时网络的语音情感识别系统，包括如下步骤：先对原始的音频信号提取声学特征，再输入到正反向长短时记忆网络中，输出正反向特征；然后通过自注意力机制操作得到正反向自注意力加权后的输出；对所得到的正反向自注意力加权后的输出分别做均值池化和拼接，并输入到softmax层，将所得到的softmax层的输出和类标一起输入到交叉熵损失函数中，通过验证集选出最适合的网络，最后将测试集的数据放入到训练好的网络中得到最后的情感类别。本发明把自注意力机制引入到循环神经网络中，能够更加容易发现句子内部信号的相关性，并对自注意力机制加入了方向机制，解决了因为信息的缺乏导致分类性能下降的问题。

主权项

1.一种基于方向自注意力机制和双向长短时网络的语音情感识别系统，其特征在于，包括如下步骤：1)对原始的音频信号样本提取声学特征，得到提取特征后的语音训练集数据；2)将所得到的提取特征后的语音训练集数据输入到正向长短时记忆网络和反向长短时记忆网络中，输出正向特征和反向特征3)将所输出的正向特征和反向特征分别做三次一维卷积，得到三个正向的三维特征映射矩阵和三个反向的三维特征映射矩阵4)对步骤2)所得到的三个正向的三维特征映射矩阵做自注意力机制操作得到正向自注意力加权后的输出对步骤2)所得到的三个反向的三维特征映射矩阵做自注意力机制操作得到反向自注意力加权后的输出5)对所得到的正向自注意力加权后的输出和反向自注意力加权后的输出分别做均值池化操作得到和并将所得到的和进行拼接，输出拼接后的6)将所输出的拼接后的输入到softmax层中得到softmax层的输出，将所得到的softmax层的输出和类标一起输入到交叉熵损失函数中，通过反向传播算法调整整个网络结构。