[发明专利]音素级的发音纠错方法、装置、设备及存储介质

说明书

本申请公开了一种音素级的发音纠错方法、装置、设备及存储介质，属于计算机与互联网技术领域。所述方法包括：获取跟读文本对应的跟读音频数据；获取跟读音频数据中各个音频帧分别对应的音频特征，以及获取跟读文本包含的音素的音素特征；将各个音频帧分别对应的音频特征与音素特征分别进行融合，得到各个音频帧分别对应的融合特征；根据各个音频帧分别对应的融合特征，获取跟读音频数据包含的至少一个音素数据，以及各个音素数据的读错概率；基于各个音素数据的读错概率，确定跟读音频数据中的读错音素。本申请中，不需要依据跟读文本包含的音素生成标准发音数据，简化音素判错流程，提高音素判错的处理效率。

技术领域

本申请涉及计算机与互联网技术领域，特别涉及一种音素级的发音纠错方法、装置、设备及存储介质。

背景技术

目前，在口语测评中可以从音素级别对用户跟读的声音数据进行音素判错。

在相关技术中，在口语测评中，获取声音数据之后，将声音数据中的发音段与标准发音数据中的发音段进行比对，如果对比中出现部分不同的音素，则确定声音数据中的该音素读错。

然而，在上述相关技术中，对声音数据的音素判错依赖于外部的标准发音数据，在口语测评之前需要生成标准发音数据，测评流程繁琐。

发明内容

本申请实施例提供了一种音素级的发音纠错方法、装置、设备及存储介质，简化音素判错流程，提高音素判错的处理效率。所述技术方案如下。

根据本申请实施例的一个方面，提供了一种音素级的发音纠错方法，所述方法包括以下步骤：

获取跟读文本对应的跟读音频数据；

获取所述跟读音频数据中各个音频帧分别对应的音频特征，以及获取所述跟读文本包含的音素的音素特征；

将各个所述音频帧分别对应的音频特征与所述音素特征分别进行融合，得到各个所述音频帧分别对应的融合特征；

根据各个所述音频帧分别对应的融合特征，获取所述跟读音频数据包含的至少一个音素数据，以及各个所述音素数据的读错概率；

基于各个所述音素数据的读错概率，确定所述跟读音频数据中的读错音素。

根据本申请实施例的一个方面，提供了一种音素检测模型的训练方法，所述方法包括以下步骤：

获取所述音素检测模型的训练样本，所述训练样本包括样本跟读文本和所述样本跟读文本对应的样本跟读音频数据；

获取所述样本跟读音频数据中各个样本音频帧分别对应的音频特征，以及获取所述样本跟读文本包含的音素的音素特征；

将各个所述样本音频帧分别对应的音频特征与所述音素特征分别进行融合，得到各个音频帧分别对应的融合特征；

根据各个所述样本音频帧分别对应的融合特征，获取所述样本跟读音频数据包含的至少一个音素数据，以及各个所述音素数据的读错概率；

基于各个所述音素数据的读错概率，确定所述样本跟读音频数据的音素检测结果；

根据所述音素检测结果和所述训练样本的标签计算所述音素检测模型的训练损失，根据所述训练损失调整所述音素检测模型的参数。

根据本申请实施例的一个方面，提供了一种音素级的发音纠错装置，所述装置包括以下模块：

音频获取模块，用于获取跟读文本对应的跟读音频数据；

特征获取模块，用于获取所述跟读音频数据中各个音频帧分别对应的音频特征，以及获取所述跟读文本包含的音素的音素特征；

特征融合模块，用于将各个所述音频帧分别对应的音频特征与所述音素特征分别进行融合，得到各个所述音频帧分别对应的融合特征；