[发明专利]训练文本生成模型的方法和装置、文本生成方法和装置

权利要求书

1.一种训练文本生成模型的方法，其特征在于，包括：

获取第一训练数据集；所述第一训练数据集中的训练数据包括第一词语序列、以所述第一词语序列作为生成约束的第一标签序列，所述第一标签序列中包括插入类标签；

获取第二训练数据集；所述第二训练数据集中的训练数据包括第二词语序列、以所述第二词语序列作为生成约束的第二标签序列，所述第二标签序列中包括插入类标签和非插入类标签；

将第一词语序列输入至第一文本生成模型，并将第一词语序列对应的第一标签序列作为监督，对所述第一文本生成模型进行序列生成任务训练，得到第二文本生成模型；

将第二词语序列输入至所述第二文本生成模型，并将第二词语序列对应的第二标签序列作为监督，对所述第二文本生成模型进行序列生成任务训练，得到第三文本生成模型。

2.根据权利要求1所述的训练文本生成模型的方法，其特征在于，还包括：

获取第三训练数据集，所述第三训练数据集中的训练数据包括第三词语序列、与所述第三词语序列对应的修辞类型标签；

将第三词语序列输入至所述第三文本生成模型，并将与所述第三词语序列对应的修辞类型标签作为监督，对所述第三文本生成模型进行分类任务训练，得到第四文本生成模型。

3.根据权利要求1所述的训练文本生成模型的方法，其特征在于，还包括：

获取第三训练数据集，所述第三训练数据集中的训练数据包括第三词语序列、与所述第三词语序列对应的修辞类型标签；

在对所述第一文本生成模型进行序列生成任务训练时，同时使用第三训练数据集对所述第一文本生成模型进行分类任务训练；

计算所述第一文本生成模型的总损失，根据所述第一文本生成模型的总损失确定是否结束对所述第一文本生成模型的训练；所述第一文本生成模型的总损失为所述第一文本生成模型在序列生成任务训练中产生的损失与所述第一文本生成模型在分类任务训练中产生的损失之和。

4.根据权利要求1所述的训练文本生成模型的方法，其特征在于，还包括：

获取第四训练数据集，所述第四训练数据集中的训练数据包括第四词语序列、与所述第四词语序列对应的修辞类型标签；

在对所述第二文本生成模型进行序列生成任务训练时，同时使用第四训练数据集对所述第二文本生成模型进行分类任务训练；

计算所述第二文本生成模型的总损失，根据所述第二文本生成模型的总损失确定是否结束对所述第二文本生成模型的训练；所述第二文本生成模型的总损失为所述第二文本生成模型在序列生成任务训练中产生的损失与所述第二文本生成模型在分类任务训练中产生的损失之和。

5.根据权利要求1-4任一项所述的训练文本生成模型的方法，其特征在于，在获取第一训练数据集之前，还包括：

获取样本语句，将样本语句分解为初始词语序列；

对初始词语序列进行数据增强处理，以得到至少一个增强词语序列；所述数据增强处理至少包括以下一种处理方式：近义词替换、回译、噪声注入；

使用初始词语序列和增强词语序列分别构建所述第一训练数据集中的训练数据。

6.根据权利要求1-4任一项所述的训练文本生成模型的方法，其特征在于，在获取第二训练数据集之前，还包括：

获取样本语句，将样本语句分解为初始词语序列；

对初始词语序列进行近义词插入和/或反义词替换，以得到至少一个中间词语序列；

对中间词语序列进行数据增强处理，以得到至少一个增强词语序列；所述数据增强处理至少包括以下一种处理方式：近义词替换、回译、噪声注入；

使用中间词语序列和增强词语序列分别构建所述第二训练数据集中的训练数据。