[发明专利]一种基于变分自编码器隐变量操纵的受控文本生成方法

说明书

本发明涉及一种基于变分自编码器隐变量操纵的受控文本生成方法，包括：训练一个用于文本生成的变分自编码器；计算变分自编码器的隐变量与生成文本的属性之间的关联；通过操纵变分自编码器的隐变量生成具有指定属性的文本。本发明提供的受控文本生成方法可以只使用一个训练好的变分自编码器模型控制生成文本的多种不同属性，并且可以使用具有不同属性的文本共同提升生成文本的质量。

技术领域

本发明涉及受控文本生成领域，具体是一种基于变分自编码器隐变量操纵的受控文本生成方法。

背景技术

随着当今社会经济文化科技的快速发展，文本生成技术作为提升文本内容生产效率的工具变得至关重要。其在自动新闻写作、智能客服系统、闲聊机器人等领域得到广泛的应用。在实际应用中，对于自动生成的文本，一般需要它的内容、风格、情感、主题、长度等属性是可控的。生成具有指定属性的文本就是受控文本生成。受控文本生成已经成为了文本生成领域一个被广泛研究和讨论的问题。

对于受控文本生成问题，传统的解决方法是使用模板和规则，将指定的文本属性按照一定的规则填入预先编写好的文本模板中，即可生成具有指定属性的文本。但是这种方法生成的文本流畅性(Fluency)和多样性(Diversity)不佳，同时需要维护一个庞大的模板库和规则库，维护成本很高。现在主流的受控文本生成方法是基于深度学习的方法。在大规模语料上训练的神经网络可以生成自然、流畅的文本。但是由于深度学习的黑盒性质，神经网络生成文本的过程难以解释，生成文本的属性也难以控制。

目前，基于深度学习的受控文本生成方法主要分成两个方向。

第一个方向是基于预训练语言模型的受控文本生成。这种方法通常需要在大规模无监督语料上预训练一个生成式语言模型，预训练好的语言模型可以在给出一定自然语言提示(前缀输入)的情况下继续生成文本。继续生成的文本可以看作自然语言提示的一个函数，预训练语言模型可以通过修改自然语言提示控制继续生成的文本。

第二个方向是基于变分自编码器的受控文本生成。基于变分自编码器的受控文本生成一个具体方法是基于条件变分自编码器的受控文本生成方法。这种方法基于文本变分自编码器的框架，向变分自编码器的隐变量中添加额外的控制条件向量表示。通过修改控制条件向量控制生成文本的属性。

本发明主要集中在基于变分自编码器的受控文本生成方法上。

发明内容

现有的基于变分自编码器的受控文本生成方法无法使用一个模型同时控制多种文本属性，同时无法利用具有多种不同属性的文本共同提升生成文本的质量。本发明通过一种基于变分自编码器隐变量操纵的方法来解决上述问题。通过这种方法，可以只使用一个变分自编码器模型同时控制多种不同的文本属性，并且可以使用具有多种不同属性的文本共同提升生成文本的质量。

针对现有的技术方案中存在的问题，本发明提供了一种基于变分自编码器隐变量操纵的受控文本生成方法，包括以下步骤：

S₁：训练一个用于文本生成的变分自编码器模型；

S₂：计算变分自编码器的隐变量与生成文本的属性之间的关联；

S₃：通过操纵变分自编码器的隐变量生成具有指定属性的文本。

为了对本技术方案进行进一步补充，所述S₂中计算变分自编码器的隐变量与生成文本的属性之间的关联的具体流程如下：

S_2.1：基于训练好的用于文本生成的变分自编码器模型采样一组隐变量以及隐变量对应的文本；

S_2.2：为采样得到的文本计算一组文本属性；

S_2.3：针对不同的文本属性采用不同的关联计算方式计算生成文本属性与隐变量之间的关联。