[发明专利]一种基于特征融合的类别文本生成系统

权利要求书

1.一种基于特征融合的类别文本生成系统，其特征在于，包括：

一个类别文本预处理模块，用于对类别文本的向量化处理；

一个多路注意力模块，在生成器中利用多种注意力机制学习文本的多种注意力表示；

一个生成器融合输出模块，将多种注意力表示融合并输出生成文本；

一个局部语义特征提取模块，用于判别器提取文本的局部依赖特征；

一个全局语义特征提取模块，用于判别器提取文本的长距离依赖特征；

一个判别器融合输出模块，将文本的局部和长距离依赖特征融合并反馈给生成器判别结果。

2.根据权利要求1所述的一种基于特征融合的类别文本生成系统，其特征在于，所述类别文本预处理模块将分词后的文本数据转换为One-Hot编码的向量形式，并引入附加类别信息，通过嵌入层形成输入向量。

3.根据权利要求1所述的一种基于特征融合的类别文本生成系统，其特征在于，所述多路注意力模块运用多头自注意力机制、拼接注意力机制和点乘注意力提取不同种类的注意力信息，从不同角度提取句子中单词与单词间的特征关系。

4.根据权利要求1所述的一种基于特征融合的类别文本生成系统，其特征在于，所述生成器融合输出模块基于双向GRU来动态融合多路注意力特征，学习注意力之间在高维空间的表征关系，形成综合多角度考虑的特征向量，使用Gumbel-Softmax生成离散文本的近似采样，解决生成对抗网络直接采样时的梯度消失问题以输出生成文本。

5.根据权利要求1所述的一种基于特征融合的类别文本生成系统，其特征在于，所述局部语义特征提取模块，采用不同尺寸的卷积核对每个生成文本和真实文本进行特征提取，对通过最大池化后的各个特征图进行拼接，从而获得局部上下文依赖特征。

6.根据权利要求1所述的一种基于特征融合的类别文本生成系统，其特征在于，所述全局语义特征提取模块采用双向GRU对句子进行全局语义特征提取，从而获取句子中的长距离上下文依赖特征，弥补卷积神经网络无法充分捕获文本全局语义信息的不足。

7.根据权利要求1所述的一种基于特征融合的类别文本生成系统，其特征在于，所述判别器融合输出模块将局部语义特征和全局语义特征相融合，通过高速神经网络使更多梯度信息得以回传，并将判别结果作为学习信号反馈给生成器，使生成器生成更可能骗过判别器的高质量类别文本。