[发明专利]一种基于混合小波包特征深度学习的语音情感识别方法

说明书

本发明提供基于混合小波包特征深度学习的语音情感识别方法，S1:通过自相关函数算法对语音数据进行端点检测；S2:将语音序列数据截取成相同长度，将语音序列采样统一为1024，针对该序列用3层小波包重构算法生成新的8个重构信号，组成特征集1；S3:将语音信号直接通过快速傅里叶变换(FFT)提取140个融合了LLDs及其泛化函数的特征值，组成特征集2；S4:将特征集2用DNN的深度学习结构进行进一步提取特征，将特征集1进行进一步提取特征；S5:将两种利用不同结构所提取到的特征集融合在一起，利用Softmax损失函数进行最终分类。本发明能够混有噪声的情况下，能够充分提取语音信号的时域信息和频域信息特征，进而利用深度学习算法实现。

技术领域

本发明涉及一种基于深度学习的语音情感识别技术，特别涉及一种基于混合小波包特征的深度学习方法，该方法属于深度学习与语音情感识别领域的方法。

背景技术

情感是人类区别于机器的独特特征之一，对人类来说，彼此之间的包含情感的沟通显得尤为重要，近些年来，情感内容分析逐渐成为一个活跃的研究领域，在人机交互中的关注度愈来愈大，人类可以通过表情，语音，手势等来判断人的情感，但是语音是人类最直接有效的沟通桥梁，并且语音信号在人机交互中成为最快捷高效的媒介。在人机交互方面，语音情感识别是一种复杂的且具有挑战的人工智能研究领域，被广泛应用于教育、医疗等领域中。其研究中的特征提取在领域中扮演了一个十分重要的角色，因为很难在这个过程中找到最佳特征集来区分情感状态，我们之前总是用快速傅里叶变换(FFT)去提取语音信号的频域特征，其中包含短时能量，基频特征，谱特征，MFCC等，接着将这些预处理好的特征输入到深度学习网络中再进行特征提取，进而实现情感分类。然而在提取信号的频域特征的同时，往往忽略了语音信号的时域特征。Panagiotis等人使用卷积神经网络CNN搭配2层的长短时记忆网络(LSTM)用于处理语谱图特征，特征缺少时域性且模型较为简单；刘佳沐等人提取的一个新颖的池化算法用于细化CNN提取后的特征，在静态帧方面表现尚可，但在特征提取中原始特征主要利用的还是频域特征，导致分类结果欠佳。Jaebok等人使用CNN搭配极限学习机(ELM)从预处理后的频域特征中进一步提取特征，在模型结构方面由于缺少注意力机制而导致在提取过程中忽略一些带有情感信息的特征，并且预处理的特征缺乏时域性信息，分类结果有待改进。

发明内容

本发明的目的在于克服现有算法的缺点与不足，提出一种基于混合小波包特征的深度学习方法，应用在语音情感识别中。

本发明的目的是这样实现的：

一种基于混合小波包特征深度学习的语音情感识别方法，包括以下步骤：

S1:通过自相关函数算法对语音数据进行端点检测，消除语音首尾两端以及语音序列中静态帧的部分；

S2:将语音序列数据截取成相同长度，利用快速傅里叶变换(FFT)将语音序列采样统一为1024，针对该序列用3层小波包重构算法生成新的8个重构信号，每个信号提取36个Low-Level Descriptions(LLDs)特征，组成特征集1；

S3:将语音信号直接通过快速傅里叶变换(FFT)提取140个融合了LLDs及其泛化函数的特征值，组成特征集2；

S4:将特征集2用DNN的深度学习结构进行进一步提取特征，将特征集1用DNN+BiLSTM+Attention Mechanism+UpSampling1D的深度学习结构进行进一步提取特征；

S5:将两种利用不同结构所提取到的特征集融合在一起，利用Softmax损失函数进行最终分类。

本发明还包括这样一些特征：

所述S1包括如下子步骤：