[发明专利]一种基于深度学习的口语评测方法和系统

权利要求书

1.一种基于深度学习的口语评测方法，其特征在于，包括：

用深度学习算法对语段音准度进行评测，得到测试语音的发音准确度评价；

用深度学习算法对语音情感度进行评测，得到测试语音的情感准确度评价；

用深度学习算法对整个句子发音质量作总体评价；

其中，所述用深度学习算法对语段音准度进行评测，得到发音准确度评价，包括：

通过深度自动编码器建立语音识别模型对所述测试语音进行语音识别，判断所述测试语音的完整度；

计算标准语音与所述测试语音的MFCC(Mel Frequency Cepstrum Coefficient)特征的相关系数，判断所述测试语音的流利度；

根据所述测试语音的完整度和所述测试语音的流利度确定所述测试语音的发音准确度评价；

其中，所述用深度学习算法对语音情感度进行评测，得到测试语音的情感准确度评价，具体为：

通过深度信念网络模型进行情感识别，判断情感正确度；

计算标准语音与所述测试语音特征参数的相关系数；

根据所述情感正确度和所述相关系数确定所述测试语音的情感准确度；

其中，所述用深度学习算法对整个句子发音质量作总体评价包括：

根据预存的发音评价标准对所述测试语音数据的发音质量进行评价；其中，所述预存的发音评价标准是预存的人工标记的发音评价标准。

2.如权利要求1所述的基于深度学习的口语评测方法，其特征在于，所述深度自动编码器包括：编码器、解码器和隐含层；

所述编码器采用如下关系式进行编码：

h＝f(X)＝S_f(WX+b_j)

其中，X为输入语音的特征向量，W为输入向量的权值，b_j表示第j个神经元的阈值，或者称为偏置，h是得到的隐含层值，S_f是非线性激活函数，其表达式为：

解码器采用如下关系式进行解码:

y＝g(H)＝S_g(WH+b_h)

其中，H为隐含层向量，这里作为输入，W为对应的权值向量，b_h为阈值，S_g是解码器的激活函数；

对深度自动编码器的训练过程是在训练样本集D上寻找参数W，bj，bh构成的最小化重构误差，重构误差的表达式为:

其中，x为上述公式的输入，g(f(x))为上述公式的解码器输出，L是重构误差函数，表示为:

3.如权利要求2所述的基于深度学习的口语评测方法，其特征在于，所述对深度自动编码器的训练过程包括：

(1)输入用作训练的语音特征参数，在语音数据无类别标签的情况下，无监督训练出第一个AE(Autoencoder)；

(2)以第一个AE的输出作为下一个AE的输入，训练出第二个AE；

(3)重复步骤(2)，直到完成预设数量隐含层的训练为止；

(4)在最后一个隐含层上增加一个分类预测网络模型，实现对所述分类预测网络模型的权重微调。

4.如权利要求1所述的基于深度学习的口语评测方法，其特征在于，

所述深度信念网络模型的建立包括：

10、构建RBM(Restricted Boltzmann Machine)，描述RBM的变量v和隐藏变量h的联合组态的能量函数表示为：

其中θ＝{W,a,b}

其中，θ＝{W,a,b}是RBM模型的参数，a_i表示可见层节点i的偏置，b_j表示隐藏层节点j的偏置，w_i,j表示可见层节点i和隐含层节点j之间的连接权重；

20、基于所述能量函数，任一组态的联合概率分布为：

其中

Z_θ为归一化因子；

30、给定训练样本，调整参数θ＝{W,a,b}，以拟合给定的训练样本；

40、构建完RBM后，通过逐层堆叠RBM，固定偏移量和权重以及构建BP(BackPropagation)网络作为分类器，形成深度信念神经网络模型。