[发明专利]一种实时语音情感识别方法及装置

说明书

本发明提供了一种实时语音情感识别方法及装置，从语音信号的梅尔频谱中提取共振峰，通过比较梅尔滤波器组的局部幅值的极大值来检测得到振幅前三的主要共振峰，并利用实时噪声门滤去其它效果不明显部分的共振峰，最终挑选出与相邻帧匹配良好的共振峰。从而利用共振峰振幅的最大值和最小值来分离音节，通过帧内前三个共振峰的复合能量来判别讲话时的沉默停顿，并检测音节分节，同时提出了一种包含15个手工特征的音节级情感识别方法。实现了语音情感的实时准确识别。

技术领域

本发明涉及信号处理技术领域，具体涉及一种实时语音情感识别方法及装置。

背景技术

目前，应用于人类情感识别研究的检测信息包括语音、面部表情、生理信号、肢体语言等。语音是人与人之间沟通最快且最自然的方法，语音情感识别研究对促进和谐人机交互意义重大。

语音情感识别技术可以应用在医疗、教育、商务辅助等多个领域。在医学上，语音情感识别常常用来识别病人的精神状态以及辅助残疾人讲话；在教育上，借助语音情感识别方法可以分析学生感兴趣的关键片段，同时也能侦测学生听课时的情感状态与疲劳程度，从而帮助老师掌握学生上课时的理解和学习状况，同时可用于对远程课堂用户在学习过程中的情感状态进行监控，从而及时调整授课重点或者进度；在商务辅助中，客服系统可以利用语音情感识别领域相关的方法快速识别用户的情绪，并生成通话中心的服务质量报告，从而帮助客服中心全面提升服务质量；在汽车驾驶中，语音情感识别可以根据司机的语音、语速等信息获取司机的情感状态，进而给予司机一定的提醒，从而防止交通事故的发生。

语音情感识别技术在很多场景有着广泛应用，面对国内外对实现人机交互系统情感智能的迫切需求，突破情感计算、人机交互等相关领域的科学技术刻不容缓。

目前语音情感识别的主流方法是基于深度神经网络进行处理的，使用梅尔频谱图作为特征输入到设计的深度神经网络当中去学习，在提高识别准确率的同时，却增加了处理所需要的时间，导致所设计出的整体模型延迟时间过长，在实时识别中可实施性较低。大部分语音情感识别方法关注于如何优化梅尔频谱的提取过程，忽略了预处理的根本问题在于特征的选取上，部分研究方法中所提出的方法主要基于文本含义，利用文本中语句与单词的含义来理解情感，这使得系统的泛化能力进一步降低。

发明内容

本发明旨在解决传统语音情感识别方法着重于特征分类优化从而造成计算量大，无法实现实时性，且部分方法通过文本中语句与单词的含义来理解情感造成的系统泛化能力较低的技术问题。

为了实现上述目的，本发明提出了一种基于音节级特征提取的实时语音情感识别方法，本发明基于多层感知机来进行分类，从而达到简化计算的目的，满足在实时语音情感识别中低延迟的要求。基于共振峰的音节特征的划分有利于在跨语言与跨语料库场景中更好的对语音进行识别，在研究中发现，元音对系统的影响远高于辅音，本发明主要以元音作为研究重点，使用更少的输入特征的情况下达到了与最先进结果相似的精度。

根据本发明的一个方面，本发明提供了一种实时语音情感识别方法，包括以下步骤：

对原始语音信号进行预处理后，提取梅尔频谱；

从所述梅尔频谱中提取每个采样帧的共振峰；

通过比较每个采样帧的共振峰中的局部幅值的极大值，获取每个采样帧内振幅值前三的共振峰，作为第一主要共振峰；

根据实时噪声门的沉默阈值对所述第一主要共振峰进行去噪处理，得到去噪后的共振峰；

计算所述去噪后的共振峰中，任意两帧的任意两个共振峰之间的匹配指标，根据所述匹配指标重建得到原始帧长的共振峰；

获取重建后的共振峰振幅的最大值和最小值；

获取重建后的共振峰中每个采样帧内振幅值前三的共振峰，作为第二主要共振峰；

计算所述第二主要共振峰的复合能量；