[发明专利]语音识别文本标点预测模型训练方法和预测方法

权利要求书

1.一种语音识别文本标点预测模型的训练方法，其特征在于，包括：

根据训练音频的语音连续性将训练音频划分为多个子音频；

对各子音频进行语音识别，并对识别后的包含多个词语的识别文本进行人工标注标点；

确定各子音频中的各词语的停顿时长；

将各词语的词嵌入向量以及与所述停顿时长对应的停顿时长向量融合，作为各词语的表示向量；

利用各词语的表示向量以及所述人工标注标点后的识别文本训练标点预测模型。

2.根据权利要求1所述的方法，其特征在于，根据训练音频的语音连续性将训练音频划分为多个子音频包括：

使用语音端点检测模型，按照非语音片段作为分隔，将训练音频按照时间顺序切分为多个子音频，每一个子音频为一个语音片段；

记录各子音频在训练音频中的起始时间和结束时间。

3.根据权利要求2所述的方法，其特征在于，所述确定各子音频中的各词语的停顿时长，包括：

将第i子音频的结束时间与第i+1子音频的起始时间之间的时间差作为第i子音频中的最后一个词语的停顿时长；

将所述训练音频中最后一个子音频中的最后一个词语的停顿时长设置为无穷大。

4.根据权利要求3所述的方法，其特征在于，所述确定各子音频中的各词语的停顿时长还包括：

将每一个子音频中的除最后一个词语外的其他词语的停顿时长设置为0。

5.根据权利要求1所述的方法，其特征在于，根据训练音频的语音连续性将训练音频划分为多个子音频包括：

使用对齐模型，将训练音频按照时间顺序划分为多个子音频，每一个子音频为一个词语；

记录各子音频在训练音频中的起始时间和结束时间。

6.根据权利要求1所述的方法，其特征在于，所述将各词语的词嵌入向量以及与所述停顿时长对应的停顿时长向量融合，作为各词语的表示向量，包括：

根据预设的词嵌入矩阵查找所述各词语对应的词嵌入向量；

根据预设的停顿时长映射函数，确定反映所述各词语的停顿时长的离散特征值，在停顿时长嵌入矩阵中查找对应于所述离散特征值的停顿时长向量；

将各词语的词嵌入向量与停顿时长向量拼接，得到各词语的表示向量。

7.根据权利要求6所述的方法，其特征在于，所述预设的停顿时长映射函数的表达式为：

其中，x为停顿时长，单位毫秒。

8.根据权利要求1所述的方法，其特征在于，所述利用各词语的表示向量以及所述人工标注标点后的识别文本训练标点预测模型，包括：

按照多个子音频的时间顺序，拼接各子音频中的各词语的表示向量，作为所述标点预测模型的输入，将所述人工标注标点后的识别文本作为目标输出，训练所述标点预测模型。

9.一种语音识别文本标点预测方法，其特征在于，包括：

根据目标音频的语音连续性将目标音频划分为多个子音频；

对各子音频进行语音识别，得到包含多个词语的识别文本；

确定各子音频中的各词语的停顿时长；

将各词语的词嵌入向量以及与所述停顿时长对应的停顿时长向量融合，作为各词语的表示向量；

按照多个子音频的时间顺序，拼接各子音频中的各词语的表示向量，输入至标点预测模型，对所述识别文本中的各词语的标点进行推理。

10.根据权利要求9所述的方法，其特征在于，根据目标音频的语音连续性将目标音频划分为多个子音频包括：

使用语音端点检测模型，按照非语音片段作为分隔，将目标音频按照时间顺序切分为多个子音频，每一个子音频为一个语音片段；

记录各子音频在目标音频中的起始时间和结束时间。