[发明专利]标点符号标注模型及其训练方法、设备、存储介质

说明书

标点符号标注模型及其训练方法、设备、存储介质，所述方法包括：获取包含标点符号的第一训练语料；将第一训练语料输入预设的具有时间序列的神经网络模型进行预训练，获得预训练的语言子模型；获取包含标点符号的第二训练语料，将第二训练语料去除标点符号，并在已去除的标点符号的前后分词单元处标注相应的标签组合，得到第三训练语料；将第三训练语料输入初始的标点符号标注模型进行迁移学习训练，得到训练好的标点符号标注模型，其中，标点符号标注模型包括预训练的语言子模型，第三训练语料包括无标点文本集合和标签序列集合。上述方案无需人工标注大量的训练数据，提高召回率，获得的标点符号标注模型具有较好的泛化能力及通用性。

技术领域

本发明实施例涉及计算机自然语言处理技术领域，尤其涉及一种标点符号标注模型及其训练方法、设备、存储介质。

背景技术

现有的标点符号恢复的方案通常采用序列标注的方式，主要应用于恢复语音识别得到的文本的标点符号，一般只能增加简单的标点符号，如：逗号、句号。使用这种方式添加的标点，一方面准确度较低、泛化能力差；另一方面标注的标点丰富性差，给人造成很差的阅读体验。

随着深度学习技术的不断发展，可以采用经过训练学习的神经网络模型预测语音识别得到的文本的标点符号，提高准确度。然而，神经网络模型的学习训练需要人工标注大量的训练数据，且现有训练方法获得的神经网络模型的召回率较低。此外，所采用的标点符号标注模型泛化能力弱、通用性差。

发明内容

有鉴于此，本发明实施例的一个方面，提供了一种标点符号标注模型的训练方法、设备、存储介质，无需人工标注大量的训练数据，并且可以提高召回率。

本发明实施例的另一个方面，提供了一种标点符号标注模型，具有较好的泛化能力及通用性。

本发明实施例提供了一种标点符号标注模型的训练方法，所述方法包括：

获取包含标点符号的第一训练语料；将所述第一训练语料输入预设的具有时间序列的神经网络模型进行预训练，获得预训练的语言子模型；获取包含标点符号的第二训练语料，将所述第二训练语料去除标点符号，并在已去除的标点符号的前后分词单元处标注相应的标签组合，得到第三训练语料；将所述第三训练语料输入初始的标点符号标注模型进行迁移学习训练，得到训练好的标点符号标注模型；其中，所述标点符号标注模型包括：所述预训练的语言子模型，所述第三训练语料包括：无标点文本集合和标签序列集合，所述标签序列集合包括所述标签组合。

可选地，所述获取包含标点符号的第二训练语料，将所述第二训练语料去除标点符号，并在已去除的标点符号的前后分词单元处标注相应的标签组合，得到第三训练语料，包括：根据预设的标点符号集合，识别所述第二训练语料的标点符号；去除所述第二训练语料中的标点符号，获得相应的无标点文本集合，并根据预设的标点符号位置标签集合，对已去除的各个标点符号的前后分词单元处标注相应位置关系的标签组合，获得相应的标签序列集合。

可选地，所述根据预设的标点符号位置标签集合，对已去除的各个标点符号的前后分词单元处标注相应位置关系的标签组合，包括以下至少一种：当已去除的标点符号前后均有分词单元时，根据所述标点符号位置标签集合对已去除的各个标点符号的前后分词单元处标注相应位置关系的标签组合；当已去除的标点符号之前或之后有一处无分词单元时，在已去除的标点符号之前或之后添加空位补齐符号填补空缺分词单元的位置，再根据所述标点符号位置标签集合，对所述标点符号之后或之前的分词单元处及空位补齐符号标注相应位置关系的标签组合。