[发明专利]一种基于前缀的文本生成方法、系统及计算机可读存储介质

说明书

本发明涉及自然语言处理技术领域，特别涉及一种基于前缀的文本生成方法、系统及计算机可读存储介质，本发明的一种基于前缀的文本生成方法，包括以下步骤：获取单属性数据集，将单属性数据集输入第一预设模型进行训练，得到单属性可控前缀；将单属性可控前缀按照预设规则进行拼接，将拼接后的结果输入第二预设模型进行训练，得到训练结果；将训练结果输入预设公式生成对应的文本，步骤中通过第一预设模型得到单属性可控前缀，不同的单属性可控前缀对应不同的可控属性，可以根据用户的需求，灵活拼接单属性可控前缀，从而满足更多不同规模的应用场景，提升大规模语言模型在多属性小样本可控文本生成的性能，从而解决现有小样本应用场景较少的问题。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于前缀的文本生成方法、系统及计算机可读存储介质。

背景技术

可控文本生成旨在通过对语言模型的控制，使其生成的文本具备某种属性，如情感、长度、关键词等。由于在实际的文本生成应用场景中，常常需要保证生成的文本具备用户需求的各种特征，如广告文案生成需包含宣传关键词或者品牌名称、研报问题生成需包含聚焦话题词或者公司机构名称、新闻摘要生成需满足特定的长度要求或者核心内容限制等，因此，文本生成的可控性成为了自然语言处理领域的关键课题。

现有技术中，通过提示学习赋予语言模型特定的可控文本生成能力。例如，使用对齐函数将可控属性的动态提示融入到了语言模型各层的头部；或者是在此基础上，引入了任务特定的静态提示，提升了特定下游任务的可控性能；Contrastive Prefixes（对比前缀）使用对比学习的方法，以监督学习、无监督学习、半监督学习等方式训练了静态提示前缀，用于提升情感可控的文本生成性能。但是，这些方式均没有探索在小样本场景下的多属性可控文本生成性能提升，且无法进行可控生成能力的灵活配置与组合，存在小样本应用场景较少的问题。

发明内容

为解决现有小样本应用场景较少的问题，本发明提供了一种基于前缀的文本生成方法、系统及计算机可读存储介质。

本发明解决技术问题的方案是提供一种基于前缀的文本生成方法，包括以下步骤：

获取单属性数据集，将单属性数据集输入第一预设模型进行训练，得到单属性可控前缀；

将单属性可控前缀按照预设规则进行拼接，将拼接后的结果输入第二预设模型进行训练，得到训练结果；

将训练结果输入预设公式生成对应的文本。

优选地，所述单属性可控前缀为情感可控前缀、疑问词可控前缀、主题可控前缀、三元组可控前缀、长度可控前缀或风格可控前缀中的一种。

优选地，获取单属性数据集，将单属性数据集输入第一预设模型进行训练，得到单属性前缀具体包括以下步骤：

获取单属性数据集并按照类型进行划分；

将相同类型的单属性数据集以预设条数划分成多个小型相同类型的单属性数据集；

将多个相同类型的小型单属性数据集输入第一预设模型进行训练，得到若干单属性可控前缀。

优选地，单属性数据集输入第一预设模型进行训练过程中采用预设损失函数，所述预设损失函数为：

其中，X为输入，t为token序号，G为控制信号。

优选地，所述第一预设模型为孟子模型。

优选地，所述预设公式为；

其中X为输入文本，G为可控信号，Y为目标输出，φ为语言模型参数，P_θ为任务前缀对应的可训练参数，C_θ为可控前缀的可训练参数，θ=[P_θ，C_θ]以概率P生成y_t作为第t个token。

优选地，将单属性可控前缀输入第二预设模型得到训练结果为：

；