[发明专利]发音评测方法、发音评测系统的训练方法、装置及设备

权利要求书

1.一种发音评测方法，其特征在于，所述方法包括：

获取待评测发音音频；

提取所述待评测发音音频的音素信息，所述音素信息包括发音音频中各个发音的通用音素，所述通用音素是对多个语种的专有音素进行整合得到的音素；

基于所述待评测发音音频的音素信息与所述待评测发音音频对应的老师发音音频的音素信息，得到所述待评测发音音频与所述老师发音音频之间的相似度；

基于所述相似度，确定所述待评测发音音频的发音评分。

2.根据权利要求1所述的方法，其特征在于，所述提取所述待评测发音音频的音素信息，包括：

将所述待评测发音音频划分为至少一个音频帧；

获取所述待评测发音音频中各音频帧的频域特征；

通过多语种音素检测模型对所述待评测发音音频中各音频帧的频域特征进行处理，得到所述待评测发音音频的音素信息，所述待评测发音音频的音素信息包括所述待评测发音音频中各音频帧的概率分布，所述概率分布反映音频帧的发音在各通用音素上的概率；

其中，所述多语种音素检测模型是用于确定发音音频中各音频帧对应的通用音素的机器学习模型。

3.根据权利要求2所述的方法，其特征在于，所述通过多语种音素检测模型对所述待评测发音音频中各音频帧的频域特征进行处理，得到所述待评测发音音频的音素信息，包括：

获取所述待评测发音音频的目标语种；

选择与所述目标语种对应的目标模型参数；其中，所述多语种音素检测模型具有多组模型参数，不同的模型参数对应于不同的语种；

通过所述多语种检测模型按照所述目标模型参数对所述待评测发音音频中各音频帧的频域特征进行处理，得到所述待评测发音音频的音素信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述待评测发音音频的音素信息与所述待评测发音音频对应的老师发音音频的音素信息，得到所述待评测发音音频与所述老师发音音频之间的相似度，包括：

对所述待评测发音音频中各音频帧的分布概率向量与所述老师发音音频中各音频帧的分布概率向量进行动态时间归整处理，得到时序匹配结果，所述分布概率向量是由所述音频帧的发音在各通用音素上的概率组成的向量，所述时序匹配结果是所述待评测发音音频与所述老师发音音频中在时序上按照相同通用音素对齐得到的相匹配的分布概率向量的组合；

基于所述时序匹配结果确定的所述相匹配的分布概率向量之间的相似度，得到所述待评测发音音频与所述老师发音音频之间的相似度。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述相似度，确定所述待评测发音音频的发音评分，包括：

通过评分模型根据所述相似度确定所述待评测发音音频的发音评分，所述评分模型是用于对所述相似度与所述发音评分之间的统计关系进行定量描述的回归模型。

6.一种发音评测系统的训练方法，其特征在于，所述发音评测系统包括多语种音素检测模型和评分模型；所述方法包括：

获取第一训练样本集和第二训练样本集，所述第一训练样本集包括至少一个第一训练样本，所述第一训练样本的样本数据包括任一语种下的老师发音音频，所述第一训练样本的标签数据包括所述老师发音音频中各个发音的通用音素，所述第二训练样本集包括至少一个第二训练样本，所述第二训练样本的样本数据包括针对同一段话的老师发音音频和学生发音音频，所述第二训练样本的标签数据包括所述学生发音音频的发音评分；

基于所述第一训练样本集，训练所述多语种音素检测模型，所述多语种音素检测模型用于提取发音音频的音素信息，所述音素信息包括所述发音音频中各个发音的通用音素，所述通用音素是对多个语种的专有音素进行整合得到的音素；

通过所述多语种音素检测模型提取所述第二训练样本的音素信息，所述第二训练样本的音素信息包括所述第二训练样本中所述老师发音音频的音素信息和所述学生发音音频的音素信息；

基于所述第二训练样本的音素信息，得到所述老师发音音频和所述学生发音音频的相似度；

根据所述相似度以及所述学生发音音频的发音评分，拟合所述评分模型，所述评分模型用于对待评测音频进行评分。