[发明专利]一种基于音素的口语评测方法、装置及电子设备

权利要求书

1.一种基于音素的口语评测方法，其特征在于，包括：

设置评测模型，所述评测模型包括编码子模型、对齐输出子模型和识别输出子模型；所述编码子模型用于将输入数据编码为特征向量，所述对齐输出子模型用于根据所述特征向量确定相应的音素对齐信息，所述识别输出子模型用于根据所述特征向量和所述音素对齐信息确定所述输入数据中每个音素的识别结果；

对所述编码子模型和所述对齐输出子模型进行训练，之后，在保持所述编码子模型的参数不变的情况下，所述识别输出子模型与所述对齐输出子模型共享所述编码子模型的参数，对所述识别输出子模型进行训练，确定训练后的评测模型；

获取待识别的目标语音数据以及与所述目标语音数据对应的跟读文本，将所述目标语音数据输入至所述评测模型，确定所述目标语音数据的特征向量和音素对齐信息，并基于所述识别输出子模型确定所述目标语音数据中每个音素的识别结果；

根据所述跟读文本和所述目标语音数据中每个音素的识别结果确定所述目标语音数据的评测结果；

其中，所述对所述编码子模型和所述对齐输出子模型进行训练，之后，在保持所述编码子模型不变的情况下，对所述识别输出子模型进行训练，包括：

获取第一数据集，对所述第一数据集中的第一语音数据进行音素对齐，确定所述第一语音数据中每帧数据的标签；

将所述第一数据集作为训练集，将所述第一语音数据作为所述编码子模型的输入、将所述第一语音数据中每帧数据的标签作为所述对齐输出子模型的输出，对所述编码子模型和所述对齐输出子模型进行训练；

获取第二数据集，对所述第二数据集的第二语音数据进行音素对齐，并确定所述第二语音数据对应的文本；所述第二语音数据为发音正确的数据，且所述第二语音数据的数量小于所述第一语音数据的数量；

将所述第二数据集作为训练集，在保持所述编码子模型不变的情况下，将所述第二语音数据作为所述编码子模型的输入、将所述第二语音数据对应的文本作为所述识别输出子模型的输出，对所述识别输出子模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述基于所述识别输出子模型确定所述目标语音数据中每个音素的识别结果，包括：

将所述目标语音数据的特征向量输入至所述识别输出子模型进行前向计算，确定所述识别输出子模型的输出矩阵Y_rec，所述输出矩阵Y_rec为帧数m×音素总维数n的矩阵；

根据目标语音数据的音素对齐信息确定所述目标语音数据中的每个音素，并确定音素i对齐区间内对于任意音素j的似然概率：

其中，表示音素i对齐区间的起始帧，表示音素i对齐区间的结束帧，表示输出矩阵Y_rec中t_i帧、音素j对应的元素，j∈[1,n]。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述跟读文本和所述目标语音数据中每个音素的识别结果确定所述目标语音数据的评测结果，包括：

为所述评测模型设置逻辑回归子模型，基于所述逻辑回归子模型对所述目标语音数据中每个音素的识别结果进行逻辑回归处理，确定每个音素与所述跟读文本相匹配的置信度；

根据每个音素的置信度确定所述目标语音数据的评测结果。

4.根据权利要求3所述的方法，其特征在于，所述基于所述逻辑回归子模型对所述目标语音数据中每个音素的识别结果进行逻辑回归处理，确定每个音素与所述跟读文本相匹配的置信度，包括：

将所述目标语音数据中每个音素的识别结果输入至所述逻辑回归子模型，确定每个音素与所述跟读文本相匹配的置信度：

其中，表示目标语音数据中音素i的置信度，表示音素i的似然概率向量，且，n为音素总维数；音素k为跟读文本中与音素i所对应的音素，和为所述逻辑回归子模型中与音素k相对应的权重系数；为逻辑回归函数。