[发明专利]语音识别文本标点预测模型训练方法和预测方法

说明书

本发明公开一种语音识别文本标点预测模型训练方法、语音识别文本标点预测方法、电子设备及存储介质，标点预测模型的训练方法包括：根据音频的语音连续性将音频划分为多个子音频；对各子音频进行语音识别，并对识别后的包含多个词语的识别文本进行人工标注标点；确定各子音频中的各词语的停顿时长；将各词语的词嵌入向量以及与所述停顿时长对应的停顿时长向量融合，作为各词语的表示向量；利用各词语的表示向量以及所述人工标注标点后的识别文本训练标点预测模型。本发明通过先对音频进行切分，能够有效避免分词错误，得到的预测模型在进行标点预测的时候，结合说话人发音特征，使得对每一个词语对应的标点插入几率进行推理的时候，能够更加准确。

技术领域

本发明涉及语音识别技术领域，尤其涉及一种语音识别文本标点预测模型训练方法、语音识别文本标点预测方法、电子设备及存储介质。

背景技术

目前市面上绝大部分的智能语音设备都需要使用到语音识别文本标点预测功能，如智能音响、会议录音转文字设备、智能对话机器人、视频字幕生成软件等语音识别相关的产品或软件，而在现有技术中，这些产品或软件主要是先将目标音频进行语音识别得到识别文本，仅以识别文本作为标点预测模型的输入，对识别文本中的每一个字进行分类，将其分类为一个特定的标点类型，最终根据分类结果将对应的标点符号插入到识别文本中。

对于现有技术中的，这种以目标音频的识别文本作为输入的语音识别文本标点预测方法在输入预测模型进行预测之前需要先根据上下文语义对语音识别得到的文本进行分词，在使用场景比较复杂，噪声较大，说话人出现口误或发音不标准等情况时，语音识别得到的识别文本中会存在较多错误，容易造成识别文本语义混乱不清的情况，导致分词错误，使得标点预测效果大打折扣。

对于上述缺陷，目前通常的解决方案是收集高噪声、高识别字错误率场景下的音频数据，在这些语义不清晰或字错较高的数据集上进行人工添加标点。基于此收集数据，添加到神经网络的训练集中进行模型训练，以改善模型在高识别字错误率场景下的标点预测性能。

但是，上述解决方案依然是不完善的，事实上，真实的识别环境往往表现为识别文本在人们口头交流中实时所产生，从而不可避免的会带有较强的个人习惯或口语化特征，如说话中出现停顿、停顿的时间有长有短、多个说话人之间交替说话等。如果只在乎识别文本的准确性，并仅以此作为输入，这种停顿或交替说话的这部分特征信息会损失，从而造成标点预测效果较差。

例如，当用户输入的语音识别得到的识别文本为“这个房子的首付在百分之十五十二万左右”，此时现有技术中的这种语音识别文本标点预测方法可能的输出结果会为“这个房子的首付在百分之十，五十二万左右”，然而说话人实际表达的意思可能为“这个房子的首付在百分之十五，十二万左右”，这就是一种由于识别文本语义混乱而导致的分词错误，将原意的“百分之十五”、“十二万”分为了“百分之十”、“五十二万”，从而影响最终的语音识别文本标点预测结果。

发明内容

本发明实施例提供一种语音识别文本标点预测模型训练方法、语音识别文本标点预测方法、电子设备及存储介质，以解决上述的现有技术中的至少一个技术问题，有效缓解现有技术中的语音识别文本标点预测方法预测不准确的情况，提高语音识别文本标点预测的精度。

第一方面，本发明实施例提供一种语音识别文本标点预测模型的训练方法，包括：

根据训练音频的语音连续性将训练音频划分为多个子音频；

对各子音频进行语音识别，并对识别后的包含多个词语的识别文本进行人工标注标点；

确定各子音频中的各词语的停顿时长；

将各词语的词嵌入向量以及与所述停顿时长对应的停顿时长向量融合，作为各词语的表示向量；

利用各词语的表示向量以及所述人工标注标点后的识别文本训练标点预测模型。

第二方面，本发明实施例提供一种语音识别文本标点预测方法，包括：