[发明专利]一种发音评测方法、装置、存储介质及设备

说明书

本申请公开了一种发音评测方法、装置、存储介质及设备，该方法包括：首先获取待评测的目标语音并提取其声学特征；然后对该声学特征和目标语音对应的标准文本进行切分对齐处理，得到目标语音对应的有效音频特征、以及音素序列和/或音素边界信息，接着对有效音频特征进行相邻音素的特征融合和编码处理，得到编码信息矩阵；进而可以根据预设N个评测维度的特点，对编码信息矩阵，以及音素序列和/或音素边界信息进行融合解码，并根据解码结果对目标语音进行发音评测，得到评测结果。可见，本申请是先对目标语音的全局特征进行编码，再利用得到的全局编码特征，同时进行N个不同维度的发音评测，从而能够提高评测结果的准确性和评测效果。

技术领域

本申请涉及语音处理技术领域，尤其涉及一种发音评测方法、装置、存储介质及设备。

背景技术

随着人工智能技术的不断突破和语音识别技术的日益发展，语音识别在人们日常工作、生活中出现的频率越来越高。例如，在诸如语言的在线学习等教育场景中，能否对用户的发音进行有效评测是非常重要的。

目前，传统的发音评测方法通常采用的是基于特征工程的回归评测方案，已在多层模型融合方面取得了一定的进展，具体是先采取不同的特征组合，回归获取评测分数作为特定模型的分数特征，然后再进行融合评测。但是这种评测方式不仅在单模型回归阶段难以充分挖掘音频的全局特征，而且在多模型融合阶段也难以通过有监督训练使得各个模型之间的权重以及特征达到平衡，导致评测结果不够准确。并且，在准确度、流利度等不同维度评测任务之间切换时，现有评测模型的复用性也较差，进而导致最终发音评测的效果不佳。

发明内容

本申请实施例的主要目的在于提供一种发音评测方法、装置、存储介质及设备，能够在进行发音评测时，有效提高评测结果的准确率，进而提高评测效果。

本申请实施例提供了一种发音评测方法，包括：

获取待评测的目标语音，并提取所述目标语音的声学特征；

对所述目标语音的声学特征和所述目标语音对应的标准文本进行切分对齐处理，得到所述目标语音对应的有效音频特征、以及音素序列和/或音素边界信息；

对所述有效音频特征进行相邻音素的特征融合和编码处理，得到所述目标语音对应的编码信息矩阵；

根据预设N个评测维度的特点，对所述编码信息矩阵，以及所述音素序列和/或音素边界信息进行融合解码，并根据解码结果对所述目标语音进行发音评测，得到所述目标语音的评测结果；所述N为大于0的正整数。

一种可能的实现方式中，所述对所述目标语音的声学特征和所述目标语音对应的标准文本进行切分对齐处理，得到所述目标语音对应的有效音频特征、以及音素序列和/或音素边界信息，包括：

确定所述标准文本对应的标准音素序列，并根据所述标准音素序列，确定激励词；

将所述标准音素序列和所述目标语音的声学特征输入预设声学模型，对所述目标语音的音频帧序列和音素序列进行切分对齐处理，并利用所述激励词对得到的处理结果进行优化调整，得到所述目标语音对应的有效音频特征、以及音素序列和/或音素边界信息。

一种可能的实现方式中，所述预设声学模型为连接式时序分类CTC声学模型。

一种可能的实现方式中，所述对所述有效音频特征进行相邻音素的特征融合和编码处理，得到所述目标语音对应的编码信息矩阵，包括：

将所述有效音频特征输入预训练声学模型，以将其映射到预设固定维度向量空间，得到预设固定维度的向量，作为初始声学表征；

利用预先构建的编码器，对所述初始声学表征进行相邻音素的特征融合和编码处理，得到所述目标语音对应的编码信息矩阵；所述编码器是采用有监督数据训练得到的；所述编码器包括多头注意力机制层、残差连接层、正则化层、前向转发层。