[发明专利]基于方向自注意力机制和双向长短时网络的语音情感识别

说明书

本发明涉及一种基于方向自注意力机制的双向长短时网络的语音情感识别系统，包括如下步骤：先对原始的音频信号提取声学特征，再输入到正反向长短时记忆网络中，输出正反向特征；然后通过自注意力机制操作得到正反向自注意力加权后的输出；对所得到的正反向自注意力加权后的输出分别做均值池化和拼接，并输入到softmax层，将所得到的softmax层的输出和类标一起输入到交叉熵损失函数中，通过验证集选出最适合的网络，最后将测试集的数据放入到训练好的网络中得到最后的情感类别。本发明把自注意力机制引入到循环神经网络中，能够更加容易发现句子内部信号的相关性，并对自注意力机制加入了方向机制，解决了因为信息的缺乏导致分类性能下降的问题。

技术领域

本发明涉及语音情感识别技术领域，具体地说，本发明涉及一种基于方向自注意力机制和双向长短时网络的语音情感识别系统。

背景技术

近年来，人机交互引起了越来越多数据科学家的兴趣。为了让人与机器之间的交流更加自然，其目标主要有两个方面：一是让机器理解人类说话的意思，二是让机器识别出人类说话时的情绪。如今计算机可以理解人类说话的意思，但是让机器识别出语音中的情绪却有较大的挑战。

在早期的时候，研究者们通过提取语音信号特征，再利用机器学习分类器对其进行分类。在21世纪初，研究者们利用高斯混合模型或者隐马尔可夫模型来进行分类，之后由于支持向量机的优秀表现，研究者们将分类器替换成了支持向量机，而目前该算法经常作为语音情感识别领域的基线算法。紧接着，由于神经网络的发展，研究者们发现通过神经网络提取高层次特征，再放入别的分类器中(诸如支持向量机和高斯混合模型等等)能够取得不错的效果。

尽管近年来人们利用深度学习技术来分析语音中的情绪变化并取得了不错的效果，但是一般的方法并不能很好地区分语音中的浊音帧和清音帧。而目前处理这种问题的方法主要分为两大类：第一类是手动去除清音帧，第二类是利用算法自适应地学习出哪些是清音帧，哪些是浊音帧。第一类方法通常是根据 pitch来识别，但是这种方法费时费力，并且会较大程度地破坏语音数据的时序性，所以该方法虽然可用，但是有一定的缺陷。第二类方法是利用某种自适应的方法来对清音帧赋予较低的权重，常用的方法包括注意力机制和CTC loss方法。由于CTC loss方法是分配离散权重，其会将非发声段的权重强制地归为0或者将发声段的权重强制地归为1，但是人类情绪的表达往往是循序渐进的，所以对其分配连续权重才是正确可取的方法，而注意力机制恰恰可以很好地做到这一点。

本发明和传统的注意力机制不同，传统的注意力机制只是对时间维度上的数据作softmax变换，得到时序上的权重，这种方法虽然有一定的效果，但是并不能很好地利用信号数据。而本发明所采用的自注意力机制是通过数据自身和自身之间的相似度做softmax变换得到的，其权重矩阵是通过信号之间的内部信息所得到的，能够更加有效地利用句子内部信息。

发明内容

技术问题：本发明所要解决的技术问题是提供一种能够分析语音信号情绪的算法，通过在双向长短时网络后加入自注意力机制来发现信号内部的相关性，进而控制每个时序帧的重要程度。自注意力机制能够降低对分类性能不利的时序帧的影响，并且让网络更加关注对分类性能帮助较大的时序帧，进而提高分类器在语音情感数据集上的分类精度。

技术方案：首先，将原始数据分为训练集、验证集和测试集。由于语音数据的时序性，本发明通过双向长短时记忆网络对语音特征训练集数据进行解码，再对解码后两个方向的数据用自注意力机制方法对每一个时序进行加权，最后把加权输出的结果和真实的类标放入到交叉熵损失函数中。通过训练集获得模型权重后，用验证集对模型进行参数选择得到性能最好的模型，然后把测试集放入到所得到的最好的模型中进行测试，获得模型的分类性能。