[发明专利]正确发音的辅助训练方法、系统、终端设备及介质

说明书

本发明公开了一种正确发音的辅助训练方法、系统、终端设备以及计算机可读存储介质，该正确发音的辅助训练方法的步骤包括：获取语音输入信号，对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同；若否，则将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频；将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列；基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练。本发明能够提升辅助用户进行正确发音的效率。

技术领域

本发明涉及音频数据处理领域，尤其是涉及一种正确发音的辅助训练方法、系统、终端设备以及计算机可读存储介质。

背景技术

如何快速高效地掌握单词的正确发音是学习一门语言的关键，用户需要不断修正自己的错误发音，才能掌握单词的正确标准发音。

传统的外语发音培训一般采用由人类教师提供反馈以纠正错误发音的方式，但是该方式需要大量的人力资源，并且效率低下。因此当前研究致力于通过自动检测和诊断发音错误的方式实现辅助用户掌握单词正确发音。然而，在现有技术中即使获得到了错误发音检测诊断的结果，却无法基于该错误发音检测诊断的结果进一步指导用户进行正确发音，从而用户无法及时修正错误发音，导致辅助用户进行正确发音的效率低下。

发明内容

本发明的主要目的在于提供一种正确发音的辅助训练方法、系统、终端设备以及计算机可读存储介质，旨在提升辅助用户进行正确发音的效率。

为实现上述目的，本发明提供一种正确发音的辅助训练方法，所述正确发音的辅助包括：

获取语音输入信号，对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同；

若否，则将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频；

将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列；

基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练。

可选地，所述对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同的步骤，包括：

根据预训练算法从所述语音输入信号进行数据预处理以提取得到音素序列；

将所述音素序列和预设的规范音素序列进行对比以判断所述音素序列和所述规范音素序列是否相同。

可选地，所述将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频的步骤，包括：

将所述音素序列转化为第一梅尔谱图序列，并基于所述第一梅尔谱图序列得到发音错误音频；

将所述规范音素序列转化为第二梅尔谱图序列，并基于所述第二梅尔谱图序列得到发音正确音频。

可选地，所述将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列的步骤，包括：

将所述发音错误音频转换为第一语音后验概率序列，并基于所述第一语音后验概率序列得到第一表达向量序列；

将所述发音正确音频转换为第二语音后验概率序列，并基于所述第二语音后验概率序列得到第二表达向量序列。

可选地，所述方法还包括：

若所述音素序列与预设的规范音素序列不相同，将所述音素序列对应的音标和所述规范音素序列对应的音标输出至预设的辅助发音训练界面。