[发明专利]一种基于深度学习的口语评测方法和系统

说明书

本发明公开了一种基于深度学习的口语评测方法和系统，所述方法包括：用深度学习算法对语段音准度进行评测，得到测试语音的发音准确度评价；用深度学习算法对语音情感度进行评测，得到测试语音的情感准确度评价；用深度学习算法对整个句子发音质量作总体评价。本发明通过建立深度信念网络模型，将深度学习的DBN(Deep Belief Network)模型应用于英语口语测评中，对口语发音做出更加全面准确的评价。同时，深度学习算法相比浅层模型对情感的评价，评价准确度更高。

技术领域

本发明涉及语音识别和评价技术领域，尤其涉及一种基于深度学习的口语评测方法和系统。

背景技术

语音信号处理技术是语音处理和语音识别领域中的一个重要分支，也是现今语音识别和语音评价系统的主要核心技术。如今科技迅速发展，语音信号处理技术已深入到各个领域，包括语言学习以及口语自动评分，而在语言学习和自动评分中，运用语音信号处理的目的是将最新的语音技术与当前的教学和学习方法结合，建立辅助语言学习的系统或者口语智能评分系统。

近年来，特别是2009年以来，借助机器学习领域深度学习研究的发展，以及大数据语料的积累，语音识别技术得到突飞猛进的发展。将深度学习研究引入到语音识别模型训练，极大提高了语音识别的准确率。本发明采用深度学习算法，通过深度自动编码器构建语音识别模型和情感识模型，以及其他语音处理方法，包括语音信号预处理、语音识别、情感识别和发音质量评分。发音情感是一项对口语发音质量评价的重要指标，也是一项目前较难识别的指标，本发明将采用多个特征参数通过深度学习算法对情感进行识别和评价，结合其他评估指标构建科学，全面的口语朗读评价方法。

深度学习的概念源于人工神经网络的研究，由Hinton等人于2006年提出。2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：(1)多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；(2)深度神经网络在训练上的难度，可以通过“逐层初始化”(layer-wise pre-training)来有效克服，在文章中逐层初始化是通过无监督学习实现的。由此可见，深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

现有将深度学习方法应用于移动互联网有如下方式：

(1)基于DTW(Dynamic Time Warping)的口语发音评价系统

DTW是语音识别中出现较早、较为经典的一种算法，该算法基于动态规划的思想，解决了发音长短不一的模板匹配问题。DTW在训练中几乎不需要额外的计算，因而在孤立词语音识别中最为简单有效。

(2)基于HMM(Hidden Markov Model)的口语发音评价系统

HMM是一种参数表示的用于描述随机过程统计特性的概率模型，由Markov链演变来，所以它是基于参数模型的统计识别方法。由于其模式库是通过反复训练形成的与训练输出信号吻合概率最大的最佳模型参数而不是预先储存好的模式样本，且其识别过程中运用待识别语音序列与HMM参数之间的似然概率达到最大值所对应的最佳状态序列作为识别输出，因此是较为理想的语音识别模型。

(3)基于ANN(Artificial Neural Network)的口语发音评价系统

ANN是利用数学模型模拟大脑神经网络的结构和功能而建立的一种信息处理系统。基于神经网络的语音识别系统本质上是一个自适应非线性动力学系统，一般由神经元、训练算法及网络结构三大要素构成。

上述方法存在如下技术缺陷：