[发明专利]文本生成模型的训练方法、装置及可读存储介质

说明书

本公开涉及一种文本生成模型的训练方法、装置及可读存储介质。该文本生成模型的训练方法，包括：获取文本生成模型生成的第一文字序列；利用预设词库中的替换词，替换第一文字序列中的目标词，以得到第二文字序列；根据损失函数的值，调整文本生成模型的模型参数，得到训练后的文本生成模型，训练后的文本生成模型用于根据输入内容生成所述输入内容对应的文字序列。根据本公开实施例的文本生成模型的训练方法、装置及可读存储介质，能够基于内容变化和长度变化向模型反馈生成的文字序列中各目标词是否准确，从而使模型得到更多的指导信息，提高生成文字序列的准确度。

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种文本生成模型的训练方法、装置以及可读存储介质。

背景技术

文本生成可以是指以文字序列为输出形式的自然语言处理，通常应用在机器翻译、语音识别、图像描述、视频描述等任务中。

目前的文本生成模型的训练方法，例如：自我评估序列训练(Self-CriticalSequence Training，SCST)方法，SCST是一种通过将随机选词的结果和根据最大概率选词的结果进行比较来优化模型的强化学习算法，虽然在模型训练上取得了一定的训练效果，但训练出的模型所生成的文本的准确度仍有待提升。

发明内容

有鉴于此，本公开提出了一种文本生成模型的训练方法、装置及可读存储介质，以提高文本生成模型生成文字序列的准确度。

根据本公开的一方面，提供了一种文本生成模型的训练方法，包括：获取文本生成模型生成的第一文字序列；

利用预设词库中的替换词，替换所述第一文字序列中的目标词，以得到第二文字序列；

根据损失函数的值，调整所述文本生成模型的模型参数，得到训练后的文本生成模型，所述训练后的文本生成模型用于根据输入内容生成所述输入内容对应的文字序列；

其中，所述损失函数包括根据第二文字序列相对于第一文字序列的内容变化和长度变化确定的第一损失函数。

在一种可能的实现方式中，所述内容变化通过文本内容变化评分表示，所述长度变化通过文本长度变化评分表示；

所述第一损失函数根据所述文本内容变化评分和所述文本长度变化评分确定。

在一种可能的实现方式中，所述文本生成模型的训练方法还包括：

根据所述第一文字序列的n元语法的第一频数，和所述第二文字序列的n元语法的第二频数，确定文本内容变化评分。

在一种可能的实现方式中，根据所述第一文字序列的n元语法的第一频数，和所述第二文字序列的n元语法的第二频数，确定所述文本内容变化评分，包括：

确定所述第一频数构成的第一频数向量，和所述第二频数构成的第二频数向量；

在设定所述第二文字序列相对于第一文字序列长度不变的情况下，根据所述第二频数向量和所述第一频数向量分别对应的自然语言评价指标之间差值，确定所述文本内容变化评分，

所述自然语言评价指标根据文字序列的频数向量和长度确定。

在一种可能的实现方式中，确定所述第二频数构成的第二频数向量，包括：

在以替换词替换第一文字序列中的目标词时，以目标词结尾的n元语法的第二频数相对于第一频数减1，以替换词结尾的n元语法的第二频数相对于第一频数加1，其它n元语法的第二频数相对于第一频数不变。

在一种可能的实现方式中，所述文本生成模型的训练方法还包括：