[发明专利]基于方向自注意力机制和双向长短时网络的语音情感识别

权利要求书

1.一种基于方向自注意力机制和双向长短时网络的语音情感识别系统，其特征在于，包括如下步骤：

1)对原始的音频信号样本提取声学特征，得到提取特征后的语音训练集数据；

2)所述提取特征后的语音训练集数据为其中N表示训练样本的数量，yi表示情感的类别，分别输入到正向长短时记忆网络和反向长短时记忆网络中，得到两个方向的输出特征，分别为输出正向特征和反向特征

3)将所输出的正向特征和反向特征分别做三次一维卷积，得到卷积后的三维特征映射矩阵输出其中正向的三维特征映射矩阵定义为反向的三维特征映射矩阵定义为

4)对步骤3)所得到的三维特征映射矩阵做自注意力机制操作，对Q，K，V的最后一个维度进行分割得到三个四维的特征矩阵，将这三个四维矩阵定义为其中第三维i的大小为对所得到的Q′，K′，V′做Scaled Dot-Product Attention运算，用公式定义为：

O＝W*V′

合并所得输出O的第三维得到三维数据O′，正向自注意力加权后的输出定义为反向自注意力加权后的输出定义为

5)对所得到的正向自注意力加权后的输出和反向自注意力加权后的输出分别做均值池化操作得到和并将所得到的和进行拼接，该操作过程表示为：

6)将所得的拼接后的结果S输入到softmax层中，然后将softmax层的输出和类标一起输入到交叉熵损失函数中，通过反向传播算法调整整个网络结构，交叉熵损失函数定义为：其中H为类别数,N为样本个数。

2.根据权利要求1所述的基于方向自注意力机制和 双向长短时网络的语音情感识别系统，其特征在于：1)所述原始的音频信号样本来自国际语音情感数据库IEMOCAP；所述原始的音频信号样本的声学特征由opensmile工具箱提取；所述原始的音频信号样本的声学特征包括韵律学特征：过零率和能量，谱相关特征：梅尔频率倒谱系数、频谱滚降点、频谱流量、频谱中心、频谱熵、频谱扩展度、色度特征以及色度特征标准差。