[发明专利]一种元音弱读检测方法及装置

说明书

本申请提供了一种元音弱读检测方法及装置。该方法包括：提取用户朗读目标文本的语音信号的声学特征，并对声学特征进行编码，获得的声学编码向量序列；然后，将目标文本对应的带重音标签的音素序列作为发音先验信息，采用联结主义时间分类(Connectionisttemporal classification，CTC)和注意力相结合的解码方法进行解码，最后采用波束搜索方法获得最终的带元音弱读标签的音素序列。本申请将带重音标签的音素序列作为发音先验信息，辅助元音弱读检测，可提高检测的准确度；解码时采用CTC和注意力联合解码方法，解决了元音弱读情况下，采用强制对齐会导致检测的准确率下降的问题。

技术领域

本申请涉及语言发音评估技术领域，尤其涉及一种元音弱读检测方法及装置。

背景技术

计算机辅助语言学习系统期望运用计算机替代或辅助人工进行语言教学，对用户的发音进行评估的自动口语评估技术是该系统的重要组成部分。元音弱读是重音计时语言中广泛存在的口语现象，例如，在英语的使用过程中，熟练的使用者往往将一些位置的元音弱化为类似中央元音schwa的发音。以非重音计时语言(如汉语)作为母语的第二语言学习者难以掌握元音弱读，这很大程度上导致非自然口音的产生。采用自动口语评估中实现元音弱读检测，可以帮助学习者掌握元音弱读。

传统方法使用基于隐马尔科夫模型的语音识别框架进行音素识别，这种方法依赖强制对齐，但在元音弱读情况下，强制对齐的准确率会下降；同时，独立性假设的引入使得模型对上下文的利用受限，而元音弱读现象很受上下文影响。

发明内容

本申请实施例提供了一种元音弱读检测方法及装置，利用语音中的上下文发音关系，将重音音素作为元音弱读音素检测的先验信息，解决强制对齐的方法在元音弱读音素检测中准确率低的问题。

第一方面，本申请实施例提供了一种元音弱读检测方法，该方法包括：

对用户朗读目标文本的语音信号进行特征提取，获得声学特征向量序列；

利用编码器网络对所述声学特征向量序列进行编码，获得声学编码向量序列；

采用注意力机制对所述声学特征向量序列和所述目标文本对应的先验编码向量序列依次进行迭代融合；所述先验编码向量序列利用辅助编码器网络对所述目标文本对应的带重音标签的音素序列进行编码获得；

利用解码器网络对每次迭代获得的融合编码向量进行解码，获得每次迭代对应的第三音素概率序列；

采用波束搜索方法对第四音素概率序列进行波束搜索，获得所述语音信号对应的带元音弱读标签的音素序列；所述第四音素概率序列根据所述第三音素概率序列、第一音素概率序列和第二音素概率序列加权求和获得，所述第一音素概率序列利用第一CTC模块对所述声学编码向量序列进行解码获得，所述第二音素概率序列利用第二CTC模块对所述先验编码向量序列进行解码获得。

本实施例中，将带重音标签的音素序列作为发音先验信息，辅助元音弱读检测，可提高检测的准确度；解码时采用CTC和注意力联合解码方法，解决了元音弱读情况下，采用强制对齐会导致检测的准确率下降的问题。采用波束搜索方法进行波束搜索，进一步提高了检测的准确率。

在一种可能的实施方式中，所述采用注意力机制对所述声学特征向量序列和所述目标文本对应的先验编码向量序列依次进行迭代融合包括：

将所述声学编码向量序列对应的当前迭代的句子级声学编码向量、所述先验编码向量序列对应的当前迭代的句子级先验编码向量、所述解码器网络在上一次迭代中解码中解码输出的隐状态向量输入层级注意力网络，获得当前迭代的第三加权向量；其中，所述当前迭代的句子级声学编码向量根据第一注意力网络获得的当前迭代的第一权值向量对所述声学编码向量序列加权求和获得，所述当前迭代的句子级先验编码向量根据第二注意力网络获得的当前迭代的第二权值向量对所述先验编码向量序列加权求和获得；