[发明专利]音素级的低功耗的口语评价与缺陷诊断方法

摘要

本发明公开了一种音素级的低功耗的口语评价与缺陷诊断方法，包括如下步骤：(1)对用户语音和标准语音进行声学特征提取，得到特征向量序列；(2)基于加权有限状态转换器Q使用Viterbi算法对用户语音和标准语音的特征向量序列进行解码操作，得到特征向量序列到音素序列的映射关系，及用户语音的对齐α和标准语音的对齐；(3)将用户语音的对齐α以及其特征向量序列与标准语音的对齐及特征向量序列进行比较，以评价用户发音质量，吻合度越高，说明发音质量越好。本发明具有如下有益效果：繁重的运算都在服务器端执行，有效减少了终端上的负载与耗电量，终端使用时不需要联网，避免了网络流量消耗。并能识别用户有发音缺陷的音素，并提供针对性练习。

主权项

一种音素级的低功耗的口语评价方法，对于给定的文本，它对应一个音素序列，记做p_all＝{sil，p₁，sil，p₂，sil，p₃，sil，...，p_(M‑1)，sil，p_M，sil}，同时提供作为评价参照的标准语音，其特征在于，包括如下步骤：(1)分别对标准语音和用户语音进行声学特征提取，得到每一帧对应的特征向量，进而分别得到标准语音与用户语音所对应的特征向量序列；(2)基于加权有限状态转换器Q使用Viterbi算法对标准语音和用户语音所对应所述的特征向量序列进行解码操作，(21)针对标准语音：上述音素序列p_all的对齐此对齐的计数向量记做$\widetilde{\mathrm{\β}}=\{{\widetilde{\mathrm{ns}}}_0,{\tilde{n}}_1,{\widetilde{\mathrm{ns}}}_1,{\tilde{n}}_2,{\widetilde{\mathrm{ns}}}_2,{\tilde{n}}_3,{\widetilde{\mathrm{ns}}}_3,...,{\tilde{n}}_{(M-1)},{\widetilde{\mathrm{ns}}}_{(M-1)},{\tilde{n}}_M,{\widetilde{\mathrm{ns}}}_M\}$其中sil表示停顿音，表示对应于第i个非停顿音音素的帧的数量，表示对应于第i+1个停顿音的帧的数量，M是此样本文本对应的非停顿音音素的总数量，上述基于加权有限状态转换器Q与Viterbi算法的解码过程在给出对齐的同时，也给出了每个特征向量所对应的HMM状态；(22)针对用户语音：上述音素序列p_all的对齐α，此对齐的计数向量记做β＝{ns₀，n₁，ns₁，n₂，ns₂，n₃，ns₃，...，n_(M‑1)，ns_(M‑1)，n_M，ns_M}；其中n_i表示对应于第i个非停顿音音素的帧的数量，ns_i表示对应于第i+1个停顿音的帧的数量，M是此样本文本对应的非停顿音音素的总数量，上述基于加权有限状态转换器Q与Viterbi算法的解码过程在给出对齐的同时，也给出了每个特征向量所对应的HMM状态；其中在所述步骤(21)和(22)中，Q＝π_ε(min(det(Hοdet(Cοdet(LοG)))))，其中的min表示有关加权有限状态转换器的最小化操作，det表示有关加权有限状态转换器的确定化操作，符号ο表示有关加权有限状态转换器的复合操作，π_ε表示去除加权有限状态转换器中ε符号的操作；声学模型H、发音词典模型L以及上下文相关的音素模型C均为加权有限状态转换器，并且均是基于加权有限状态转换器的大词汇量连续语音识别技术的训练过程得到；对于给定的文本产生相应的语言模型G，从而产生与该文本对应的加权有限状态转换器Q；(3)将用户语音的对齐α以及其特征向量序列与标准语音的对齐及特征向量序列进行比较，以评价用户发音质量，二者吻合度越高，说明发音质量越好。