[发明专利]一种基于特征融合的类别文本生成系统

说明书

本发明涉及一种基于特征融合的类别文本生成系统。所述系统包括：一个类别文本预处理模块，用于对类别文本的向量化处理；一个多路注意力模块，在生成器中利用多种注意力机制学习文本的注意力表示；一个生成器融合输出模块，将多种注意力表示融合并输出生成文本；一个局部语义特征提取模块，用于判别器提取文本的局部依赖特征；一个全局语义特征提取模块，用于判别器提取文本的长距离依赖特征；一个判别器融合输出模块，将文本的局部和长距离依赖特征融合并反馈给生成器判别结果。

技术领域

本发明涉及类别文本生成领域，具体涉及一种基于特征融合的类别文本生成系统。

背景技术

类别文本生成旨在自动生成不同属性的连贯且有意义的文本，多类别多情感的文本生成可以使机器更加智能化，从而实现更好的人机交互效果。类别文本生成可以广泛地应用于对话系统、情感分析任务的数据集构建、评论文本生成等领域，为人们提供便捷自动化的工具，降低人工撰写文本的开销。

类别文本生成是文本生成领域的一个子任务，传统文本生成方法主要基于规则模板，通过内容规划、句子规划和语言实现完成文本生成工作，随后基于概率统计的文本生成方法也被广泛应用，该方法将词与上下文的关系编码成条件概率，从概率统计的角度出发来进行文本生成。随着深度学习的迅速发展，当前大多数类别文本生成工作不再使用传统文本生成方法，而是使用深度学习方法来提高模型的泛化能力。

目前基于深度学习的类别文本生成模型主要可以分为以下三类：基于序列到序列模型(Sequence-to-Sequence，Seq2Seq)、基于变分自编码器(Variational Auto-Encoders，VAE)和基于生成对抗网络(Generative Adversarial Networks，GAN)：

基于序列到序列模型的类别文本生成模型通过编码器-解码器模型将输入序列通过编码器编码为中间向量，然后通过解码器将中间向量解码为输出序列。目前有研究人员采用集束搜索生成数个备选序列，并基于某些规则来排序得到最好结果。还有研究者在Seq2Seq模型的基础上引入LDA模型来得到文本主题，以生成多样性更好的类别文本。尽管该类模型的应用较为广泛，但加入额外的类别信息较为困难，生成文本的类别准确度有限。

基于变分自编码器的类别文本生成模型先将输入文本编码为隐向量，再根据隐变量重构输入文本以训练模型参数。然而，训练VAE模型的最大难点是KL散度崩溃问题，研究人员通过引入一个权重来控制KL项，并在训练过程中使该权重逐渐增大来缓解KL散度崩溃问题。此外，研究者提出了一种基于规划的层次变分模型，利用多层网络结构学习高层语义特征和局部特征，在长文本生成中取得较好效果。此类方法虽然在缓解KL散度奔溃问题上取得了一定的进展，但该问题仍是一项挑战，生成文本的质量也受到限制。

基于生成对抗网络的类别文本生成模型通过生成器与判别器间的交替对抗训练，使生成器生成的文本尽可能拟合真实文本的分布，让判别器无法区分，从而提升生成文本质量。研究人员提出一种由多个生成器和一个多类别判别器组成的GAN，通过建立一个基于惩罚的目标函数传递类别信息，使每个生成器可以生成特定类别的文本。在上述方法的基础上，研究人员提出在模型的训练过程中引入层次进化学习算法，通过进化、评估、筛选得到生成文本质量最高的模型优化方向。但是此类方法对于文本语义特征的提取较为片面，难以获得兼顾质量和多样性的文本，因此人们希望能够找到一种更加高效的类别文本生成方法，生成更加流畅且准确的类别文本。

发明内容

本发明的目的在于提供一种基于特征融合的类别文本生成系统，对于生成器，利用改进型多路注意力机制从多角度提取句子的语义特征关系，并通过双向GRU有效融合多路注意力特征以输出生成文本；对于判别器，在局部语义特征提取模块的基础上引入全局语义特征提取模块，将综合判别结果反馈给生成器，使其生成高质量的类别文本。

为实现上述目的，本发明的技术方案是：一种基于特征融合的类别文本生成系统，包括：

一个类别文本预处理模块，用于对类别文本的向量化处理；