[发明专利]发音测评方法、装置、系统、介质和计算设备

说明书

本发明的实施方式提供了一种发音测评方法。该方法包括：获取用户的发音视频；从所述发音视频中获取有效视频段；基于所述有效视频段，获取用户的发音口型特征序列；根据用户的发音口型特征序列与标准音口型特征序列按照预设计算方式得到发音口型分数。本方法通过用户发音时的图像特征来评判用户的发音是否准确，而不是根据用户发音的语音特征，避免了噪声对语音识别的干扰，有效弥补语音识别在特定场景和任务下的不足，为用户带来了更好的体验。此外，本发明的实施方式还提供了一种发音测评装置、系统、介质和计算设备。

技术领域

本发明的实施方式涉及口语评测领域，更具体地，本发明的实施方式涉及一种发音测评方法、装置、系统、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

现有的发音打分技术多数都是基于语音识别的方法，这些方法利用语音特征来判别音标发音的准确性。早期主流的打分技术主要是基于隐马尔科夫模型的语音识别引擎，利用其似然分数值(likelihoodscore)以及其他相关的信息做为评分依据。其中，最经典的GOP(GoodnessofPronunciation)方法是由麻省理工大学的SilkeWitt在他的博士论文中提出。之后的评分方法大都与GOP算法相似，或者是由它衍生出来。

在某些场景下，如环境嘈杂或用户发出的声音较小，仅仅利用基于语音的方法较难准确地判别用户发音是否正确。

发明内容

为此，非常需要一种改进的发音测评方法，使得即使用户处于嘈杂环境等场景下，依然能够准确地判别用户发音是否正确。

在本上下文中，本发明的实施方式期望提供一种发音测评方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种发音测评方法，包括：

获取用户的发音视频；

从所述发音视频中获取有效视频段；

基于所述有效视频段，获取用户的发音口型特征序列；

根据用户的发音口型特征序列与标准音口型特征序列按照预设计算方式得到发音口型分数。

在本发明的一个实施例中，从所述发音视频中获取有效视频段，包括：

获取所述用户的发音视频的视频信号；

基于所述视频信号的波动，对所述发音视频进行裁剪，去除用户未发音的视频帧，以获取有效视频段。

在本发明的另一实施例中，采用基于z-score阈值匹配的方法对所述发音视频进行裁剪。

在本发明的又一个实施例中，基于所述有效视频段，获取用户的发音口型特征序列，包括：

获取所述有效视频段中每一帧图像的发音口型特征；

基于每一帧图像的发音口型特征生成所述有效视频段的发音口型特征序列。

在本发明的再一个实施例中，获取所述有效视频段中每一帧图像的发音口型特征，包括：

基于每一帧图像中嘴部区域的各个关键点到中心点的距离确定每一帧图像的发音口型特征。

在本发明的再一个实施例中，所述中心点基于嘴型内轮廓最高顶点与最低顶点以及最左顶点与最右顶点确认。

在本发明的再一个实施例中，根据用户的发音口型特征序列与标准音口型特征序列按照预设计算方式得到发音口型分数，包括：

将用户的发音口型特征序列与标准音口型特征序列对比，获得用户的发音口型特征序列与标准音口型特征序列的发音口型特征相似度；