[发明专利]基于并联张量分解卷积神经网络的语音情感识别方法

权利要求书

1.一种基于并联张量分解卷积神经网络的语音情感识别方法，其特征在于它是由下述步骤组成：

(1)数据集预处理

取柏林语音数据集语音535个，共分布在高兴、生气、悲伤、害怕、中性、无聊、厌恶七种不同情感类别中；

1)将柏林语音数据集按照4：1的比例分成训练集、测试集；

2)将训练集切成大小为50000个样本，每个样本为3.12秒的等尺寸语音片段，并将等尺寸语音片段归一化到[0,1]；

(2)提取特征

采用时频转换的方法从等尺寸语音片段中提取梅尔频谱图特征和调制谱图特征；

(3)构建并联张量分解卷积神经网络

并联张量分解卷积神经网络由第一张量分解卷积神经网络、第二张量分解卷积神经网络并联经三维张量分解卷积神经网络与全连接层相连构成；

(4)训练并联张量分解卷积神经网络

1)确定目标函数

目标函数包括损失函数L和评价函数F1，按下式确定损失函数L：

其中，X表示真实值，X∈{x₁,x₂,...x_m}，Y表示预测值，Y∈{y₁,y₂,...y_m}，m是元素的个数、m∈{1,2,...,535}；

按下式确定的评价函数F1：

其中，P是准确率，P∈[0,1],R是召回率，R∈[0,1]，T是真阳性，T∈[0,1]，F是假阳性，F∈[0,1],Q是假阴性，Q∈[0,1]，且P、R、T、F、Q不同时为0；

2)训练并联张量分解卷积神经网络

将训练集送入到并联张量分解卷积神经网络中进行训练，在训练的过程中，并联张量分解卷积神经网络学习率r∈[10^-5,10^-3]，优化器采用Adam优化器，迭代至损失函数L收敛；

(5)测试并联张量分解卷积神经网络

将测试集输入到并联张量分解卷积神经网络中进行测试；

(6)识别和分类语音情感

将提取到的语音特征输入并联张量分解卷积神经网络中，使用常规softmax激活函数进行回归得到不同情感的概率值如下：

高兴概率w_h、生气概率w_a、悲伤概率w_sa、害怕概率w_f、中性概率w_n、无聊概率w_su、厌恶概率w_d；

设置不同的情感权值：高兴权值p_h、生气权值p_a、悲伤权值p_sa、害怕权值p_f、中性权值p_n、无聊权值p_su、厌恶权值p_d，按下式对语音进行情感识别分类，得到高兴、生气、悲伤、害怕、中性、无聊、厌恶七种不同的语音情感：

E＝Max(w_h×p_h,w_a×p_a,w_sa×p_sa,w_f×p_f,w_n×p_n,w_su×p_su,w_d×p_d)

其中Max()表示取最大值，w_h×p_h,w_a×p_a,w_sa×p_sa,w_f×p_f,w_n×p_n,w_su×p_su,w_d×p_d分别表示加权后的高兴概率、生气概率、悲伤概率、害怕概率、中性概率、无聊概率、厌恶概率。