[发明专利]一种基于预训练语言模型的文本生成方法

说明书

一种基于预训练语言模型的文本生成方法，它属于自然语言处理技术领域。本发明解决了现有加权解码的可控生成方法无法在保证生成文本质量的前提下达到理想风格强度的问题。本发明提出了能够动态调节控制器权重的加权解码框架，该框架使用了一个规整模块，能够根据当前解码位置的语言模型信息对控制器的行为进行约束。如果当前解码位置不适合生成包含目标风格的词语时，规整模块会抑制控制器并使其失效；如果当前解码位置可以生成与目标风格相关的词语时，规整模块会增强控制器并确保在该解码位置生成的词语包含目标风格。本发明方法可以应用于可控文本生成。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于预训练语言模型的可控文本生成方法。

背景技术

可控文本生成旨在生成一段与指定风格相关的文本(题目：ExploringControllable Text Generation Techniques，作者：ShrimaiPrabhumoye,Alan W Black和RuslanSalakhutdinov，年份：2020年，文献引自Proceedings of the 28th InternationalConference on Computational Linguistics)。随着生成式预训练语言模型的发展(题目：Language Models are Few-Shot Learners，作者：Tom Brown,Benjamin Mann,NickRyder,Melanie Subbiah,Jared D Kaplan,PrafullaDhariwal,Arvind Neelakantan,Pranav Shyam,Girish Sastry,Amanda Askell,Sandhini Agarwal,Ariel Herbert-Voss,Gretchen Krueger,Tom Henighan,Rewon Child,Aditya Ramesh,Daniel Ziegler,Jeffrey Wu,Clemens Winter,Chris Hesse,Mark Chen,Eric Sigler,Mateusz Litwin,Scott Gray,Benjamin Chess,Jack Clark,Christopher Berner,Sam McCandlish,AlecRadford,Ilya Sutskever和Dario Amodei，年份：2020年，文献引自Proceedings of the34th Conference on Neural Information Processing Systems)，PPLM提出了一种在解码阶段偏置语言模型生成结果的可控文本生成技术，我们将其与后续这类技术统称为加权解码。加权解码方法不需要修改语言模型的结构和参数，而是通过额外增加一个控制器在语言模型每一步解码时施加一个导向目标风格的偏置信号。加权解码方法可以通过调节控制器的权重来影响生成文本包含目标风格的程度，但是随着控制强度的缓慢增加，生成文本的流畅度会显著下降，导致模型实际上并不能在保证文本质量的前提下达到理想的风格强度。

发明内容

本发明的目的是为解决现有加权解码的可控生成方法无法在保证生成文本质量的前提下达到理想风格强度的问题，而提出的一种通过动态调节控制器权重来保证生成文本质量的可控生成方法。

本发明为解决上述技术问题所采取的技术方案是：一种基于预训练语言模型的文本生成方法，所述方法具体包括以下步骤：

步骤一、获取用于文本生成的基线模型；

步骤二、计算获取的基线模型中的预训练语言模型在当前解码位置下生成目标风格的倾向；

步骤三、根据预训练语言模型在当前解码位置下生成目标风格的倾向对控制器进行约束，得到在当前解码位置下的条件生成概率；

根据条件生成概率进行目标风格的文本生成。

本发明的有益效果是：