[发明专利]文本生成方法及装置

说明书

本发明提供一种文本生成方法及装置，所述方法包括：获取文本原句；将所述文本原句输入训练好的文本生成预训练模型，获取所述训练好的文本生成预训练模型基于所述文本原句和模式控制符输出的文本生成结果；其中，所述训练好的文本生成预训练模型是基于续写训练数据、改写训练数据、压缩训练数据、扩写训练数据以及所述模式控制符训练得到的。本发明通过续写训练数据、改写训练数据、压缩训练数据、扩写训练数据以及模式控制符，获取一个兼具续写、改写、压缩和扩写能力的文本生成预训练模型，实现较好的文本生成效果，具有良好的实用性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本生成方法及装置。

背景技术

文本生成可以根据输入和输出信息的关系分为四种类型，分别为续写(给定前文生成后文)、改写(保留原句的信息但换其他方式表达，对应改述、文本风格迁移等任务)、压缩(将原句变短，对应摘要生成等任务)、扩写(将原句变长，对应扩句等任务)。

理论上语言模型的预训练任务只适合于续写，但现在的大规模预训练模型也会将其他的文本生成类型转换为续写的方式，例如在改写模式中原句当作前文而改后的文本当作后文，压缩和扩写也类似。

由于语言模型的预训练任务和续写之外其他的文本生成类型并不匹配，为了实现较好的文本生成效果，大规模预训练模型往往需要在微调阶段使用大量的有标注数据。然而，有标注数据往往构造成本较高(例如摘要生成任务中需要人为大量的文章撰写摘要)，这限制了大规模预训练模型在某些生成任务中的表现。

发明内容

针对现有技术存在的问题，本发明提供一种文本生成方法及装置。

本发明提供一种文本生成方法，包括：

获取文本原句；

将所述文本原句输入训练好的文本生成预训练模型，获取所述训练好的文本生成预训练模型基于所述文本原句和模式控制符输出的文本生成结果；

其中，所述训练好的文本生成预训练模型是基于续写训练数据、改写训练数据、压缩训练数据、扩写训练数据以及所述模式控制符训练得到的。

可选地，所述将所述文本原句输入训练好的文本生成预训练模型之前，还包括：

分别在续写训练数据、改写训练数据、压缩训练数据和扩写训练数据前拼接对应的模式控制符；

将拼接对应模式控制符的续写训练数据、改写训练数据、压缩训练数据和扩写训练数据输入文本生成预训练模型，获取训练好的文本生成预训练模型。

可选地，所述分别在续写训练数据、改写训练数据、压缩训练数据和扩写训练数据前拼接对应的模式控制符之前，还包括：

基于回环翻译，获取改写训练数据。

可选地，所述分别在续写训练数据、改写训练数据、压缩训练数据和扩写训练数据前拼接对应的模式控制符之前，还包括：

利用依存句法分析，获取句子级压缩训练数据。

可选地，所分别在续写训练数据、改写训练数据、压缩训练数据和扩写训练数据前拼接对应的模式控制符之前，还包括：

对段落中的每个句子进行编码和聚类处理，获取所述段落中的关键句；

对所述关键句进行改写，获取段落级压缩训练数据。

可选地，所述模式控制符包括续写模式控制符、改写模式控制符、压缩模式控制符和扩写模式控制符；所述模式控制符用于指示训练数据类型以及指示文本生成任务类型。

本发明还提供一种文本生成装置，包括：

第一获取模块，用于获取文本原句；