[发明专利]文本断句方法及训练方法、装置、电子设备、存储介质

权利要求书

1.一种文本断句的训练方法，其特征在于，包括：

分别获取包含断句信息的第一训练语料和未包含断句信息的第二训练语料；

对所述第二训练语料添加断句信息，得到第三训练语料；

分别对所述第一训练语料和所述第三训练语料添加与断句信息相关的标注信息；

将所述第一训练语料输入至预设的神经网络模型，对所述预设的神经网络模型进行预训练，得到初始文本断句模型；

将所述第三训练语料输入至所述初始文本断句模型，对所述初始文本断句模型进行微调，得到文本断句模型。

2.根据权利要求1所述的训练方法，其特征在于，所述断句信息包括标点符号信息；

所述对所述第一训练语料和所述第三训练语料添加与断句信息相关的标注信息，包括：

分别对所述第一训练语料和所述第三训练语料进行分词，得到各语料对应的词单元；

根据所述各语料对应的词单元预设位置的标点符号信息，为所述各语料对应的词单元添加标注信息。

3.根据权利要求2所述的训练方法，其特征在于，所述根据所述各语料对应的词单元预设位置的标点符号信息，为所述各语料对应的词单元添加标注信息之前，还包括：

对所述第一训练语料和所述第三训练语料中各语料对应的词单元进行数据清洗。

4.根据权利要求2所述的训练方法，其特征在于，所述根据所述各语料对应的词单元预设位置的标点符号信息，为所述各语料对应的词单元添加标注信息之前，还包括：

根据预设的标点符号集合，识别所述各语料对应的词单元预设位置的标点符号信息；

在所述预设的标点符号集合中识别到所述各语料对应的词单元预设位置的标点符号时，将所述各语料对应的词单元预设位置的标点符号转换为预设标点符号。

5.根据权利要求4所述的训练方法，其特征在于，所述各语料对应的词单元预设位置的标点符号包括句子结束符，所述句子结束符包括以下至少一种：感叹号、问号、省略号；

所述预设标点符号包括句号。

6.根据权利要求1所述的训练方法，其特征在于，所述对所述第二训练语料添加断句信息，得到第三训练语料，包括：

获取的所述第二训练语料为语音训练语料时，对所述语音训练语料进语音识别，得到对应的语音数据文本；

对所述语音数据文本添加断句信息，得到所述第三训练语料。

7.根据权利要求1所述的训练方法，其特征在于，所述预设的神经网络模型包括编码层、时间循环神经网络层和条件随机场网络层；

所述将所述第一训练语料输入至预设的神经网络模型，对所述预设的神经网络模型进行预训练，得到初始文本断句模型，包括：

将所述第一训练语料输入至所述编码层，通过所述编码层对所述第一训练语料进行编码，得到对应的编码向量矩阵；

将所述第一训练语料对应的编码向量输入至所述时间循环神经网络层，通过所述时间循环神经网络层对所述第一训练语料对应的编码向量矩阵进行双向运算，得到所述第一训练语料对应的双向编码向量矩阵；

将所述第一训练语料对应的双向编码向量矩阵输入至所述条件随机场网络层，并根据所述第一训练语料的断句信息，通过所述条件随机场网络层，计算得到所述第一训练语料的断句信息序列的负对数似然函数，并作为损失函数；

采用反向传播算法最小化所述损失函数，对所述预设的神经网络模型进行迭代训练，得到初始文本断句模型。

8.一种文本断句方法，其特征在于，包括：

获取待断句文本；

将所述待断句文本输入至文本断句模型，得到断句结果并输出；

其中，所述文本断句模型为通过将具有与断句信息相关的标注信息的第三训练语料对初始文本断句模型进行微调得到的；所述初始文本断句模型为通过将具有与断句信息相关的标注信息的第一训练语料输入至预设的神经网络模型训练得到的；所述第一训练语料包含断句信息；所述第三训练语料为对未包含断句信息的第二训练语料添加断句信息得到的。