[发明专利]一种基于音素的口语评测方法、装置及电子设备

说明书

本发明提供了一种基于音素的口语评测方法、装置及电子设备，其中，该方法包括：设置评测模型；对编码子模型和对齐输出子模型进行训练，之后，在保持编码子模型不变的情况下，对识别输出子模型进行训练；将目标语音数据输入至评测模型，确定目标语音数据的特征向量和音素对齐信息，并基于识别输出子模型确定目标语音数据中每个音素的识别结果；根据标准答案和目标语音数据中每个音素的识别结果确定目标语音数据的评测结果。通过本发明实施例提供的基于音素的口语评测方法、装置及电子设备，可以学习到海量数据的特征，音素对齐效果较好；并且不需要大量的优质数据，有效解决了训练过程中优质数据量不够的问题。

技术领域

本发明涉及语音识别技术领域，具体而言，涉及一种基于音素的口语评测方法、装置、电子设备及计算机可读存储介质。

背景技术

语音评测是K12（kindergarten through twelfth grade，指的是学前教育至高中教育）在线教育场景中的重要场景，通过在线进行语音评测，可以有效的提升学生的口语水平。而音素发音评价作为发音的重要评价细节，对口语打分的准确性起着至关重要的作用。因此，音素颗粒打分的准确度不仅对总分的评估起着重要的作用，还在教学中学生发音细节的纠正发挥着重要作用。

目前常见的口语评测中，音素发音的评估大多以声学模型的音素似然概率作为音素评估的基本特征进行打分。比如使用语音特征强制对齐后的每个音素的似然概率，根据音素的似然概率和专家打分训练一个基于SVM（Support Vector Machine，支持向量机）的评分模型，以保证机器评分与专家评分的差异。或者，基于LSTM（Long Short-Term Memory，长短期记忆网络）进行声学模型建模，LSTM产生的似然概率和专家打分，使用人工神经网络训练一个打分模型。或者，将音素作为语言学习的一种发音颗粒度检测，以帮助提升用户的口语水平。

当前的口语评测方法对音素的区分或对齐表现欠佳，评测效果一般。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种基于音素的口语评测方法、装置、电子设备及计算机可读存储介质。

第一方面，本发明实施例提供了一种基于音素的口语评测方法，包括：

设置评测模型，所述评测模型包括编码子模型、对齐输出子模型和识别输出子模型；所述编码子模型用于将输入数据编码为特征向量，所述对齐输出子模型用于根据所述特征向量确定相应的音素对齐信息，所述识别输出子模型用于根据所述特征向量和所述音素对齐信息确定所述输入数据中每个音素的识别结果；

对所述编码子模型和所述对齐输出子模型进行训练，之后，在保持所述编码子模型不变的情况下，对所述识别输出子模型进行训练，确定训练后的评测模型；

获取待识别的目标语音数据以及与所述目标语音数据对应的跟读文本，将所述目标语音数据输入至所述评测模型，确定所述目标语音数据的特征向量和音素对齐信息，并基于所述识别输出子模型确定所述目标语音数据中每个音素的识别结果；

根据所述跟读文本和所述目标语音数据中每个音素的识别结果确定所述目标语音数据的评测结果。

第二方面，本发明实施例还提供了一种基于音素的口语评测装置，包括：

模型设置模块，用于设置评测模型，所述评测模型包括编码子模型、对齐输出子模型和识别输出子模型；所述编码子模型用于将输入数据编码为特征向量，所述对齐输出子模型用于根据所述特征向量确定相应的音素对齐信息，所述识别输出子模型用于根据所述特征向量和所述音素对齐信息确定所述输入数据中每个音素的识别结果；

训练模块，用于对所述编码子模型和所述对齐输出子模型进行训练，之后，在保持所述编码子模型不变的情况下，对所述识别输出子模型进行训练，确定训练后的评测模型；