[发明专利]一种基于物理波和循环网络的语音情感识别方法

说明书

本发明公开了一种基于物理波和循环网络的语音情感识别方法，包括：获取待识别的语音段；对语音段进行扩展处理，得到延拓声波场；从声波的传输机制入手，根据波动物理动力学与情感表达的映射关系确定对音频信号进行特征提取的物理波模型，基于物理波模型对延拓声波场进行特征提取；利用训练好的循环网络模型对提取出的特征进行语音情感识别，得到语音段的语音情感；循环网络模型采用3层双向长短期记忆模型；还包括注意力层；将注意力层的输出注入全连接层和Softmax，输出预测情感分类结果。本发明从环境声音感知的角度，设计了基于物理波和长短期记忆模型融合的语音情感识别深度学习模型，从而提出有效的语音情感识别方法。

技术领域

本发明涉及信息技术领域，特别是涉及一种基于物理波和循环网络的语音情感识别方法。

背景技术

语音情感识别(Speech Emotion Recognition,SER)旨在通过语音信号识别说话者的正确情绪状态，语音情感识别是计算机理解人类情感的关键之处，是实现人机交互的前提，它是人机交互中一个重要的组成部分。也是语音处理领域中一个具有挑战性和广泛应用前景的研究课题，语音情感识别主要涉及到多媒体、信号处理、深度学习等领域。它对测试样本的特征进行提取，对高层特征进行建模，从而实现高精度的情感识别。

现有的语音情感识别方法主要是从语音样本中提取音频的特征，按照经验数据，设计深度学习相关模型，并计算语音情感识别的精度。如，申请号为CN201210551585的发明专利公开了一种基于压缩感知的鲁棒性语音情感识别方法,包含如下步骤:产生含噪声的情感语音样本,建立声学特征提取模块,构建稀疏表示分类器模型,输出语音情感识别结果。又如，申请号为CN111429947A的发明专利公开了一种基于多级残差卷积神经网络的语音情感识别方法，通过跨越多级的残差块对卷积神经网络(CNN)进行特征弥补，解决了对CNN随着卷积层加深而出现的特征丢失的问题。

但是，这种提取特征的方法与情感表达类型、噪声、音长、说话者等因素均有关联，单纯的特征提取无法实现高精度的情感识别。此外，按照经验设计的模型与算法的泛化能力有待提升。

发明内容

有鉴于此，本发明提出一种基于物理波和循环网络的语音情感识别方法，从环境声音感知的角度，设计基于物理波和长短期记忆(Long Short-Term Memory，LSTM)模型融合的语音情感识别深度学习模型，从而提出有效的语音情感识别方法，同时提升模型的泛化能力。

为此，本发明采用以下技术方案：

本发明提供了一种基于物理波和循环网络的语音情感识别方法，所述方法包括：

获取待识别的语音段；

对所述语音段进行扩展处理，得到延拓声波场；

从声波的传输机制入手，根据波动物理动力学与情感表达的映射关系确定对音频信号进行特征提取的物理波模型，基于所述物理波模型对所述延拓声波场进行特征提取；

利用训练好的循环网络模型对提取出的特征进行语音情感识别，得到所述语音段的语音情感；所述循环网络模型采用3层双向长短期记忆模型，每层长短期记忆模型的隐藏节点具有256个单元；在长短期记忆模型的第3层后，还包括注意力层；将注意力层的输出注入全连接层和Softmax，输出预测情感分类结果。

进一步地，对所述语音段进行扩展处理，包括：

利用固定步长深度递推声波延拓方法对所述语音段进行扩展处理。

进一步地，所述固定步长深度递推声波延拓方法包括：

确定延拓标准，所述延拓标准下生成的语音信号能够表达完整的情感；

识别所述语音段中固定步长下的最佳连续语音帧区间，所述最佳连续语音帧区间为所述语音段的所有区间中深度累计最大的区间；