[发明专利]基于循环卷积注意力模型的文本生成方法及装置

说明书

本发明属于计算机应用技术领域，特别涉及一种基于循环卷积注意力模型的文本生成方法及装置，该方法包含：采集互联网文本数据作为样本数据库；将样本数据库作为循环卷积注意力模型的输入和输出，训练循环卷积注意力模型，其中，循环卷积注意力模型包含长短期记忆网络模块、注意力机制模块和循环卷积网络模块，长短期记忆网络模块包含若干个LSTM长短期记忆网络节点；将待处理文本主题输入到已训练好的循环卷积注意力模型中进行测试，将循环卷积注意力模型输出即为该待处理文本主题的生成文本。本发明降低LSTM模型中历史信息的衰弱特性；训练更加容易且训练耗费资源降低，使得产生的文本含有一定的主题信息。

技术领域

本发明属于计算机应用技术领域，特别涉及一种基于循环卷积注意力模型的文本生成方法及装置。

背景技术

随着大数据时代的到来，智能写作的应用需求增多，如新闻的短评论自动生成，短文信息的自动回复等。人类需要利用更加快捷的方式写出符合主题要求的文本，加快文本产生的速度。经过近几十年的发展，文本自动生成技术在应用领域上已经有了很大突破。能在体育、新闻、财经等方面自动写稿，在大众点评等媒体上进行简单的点评。但目前自动生成文本技术研究水平受限，即使是写稿机器人，也并没有实现真正的智能化。主要体现在以下几个方面：(1)仍依靠大量的人工辅助和以大数据作为支撑，且覆盖面有限，仅仅在体育、财经等新闻自动生成上效果较好；(2)生成的文本的稳定性和可靠性还不能得到保证，容易出现一定的语法错误；(3)生成的文本含有的主题信息并不明确，生成的文本的语言的表达质量受限，甚至不成句子。

当前基于深度学习的文本生成技术研究已经成为人工智能研究的热点方向，改进文本自动生成技术中的缺点和不足，对将来快速生成符合条件的短评论和短文本具有重要意义，对扩展应用领域有很大的帮助。采用传统的模板的方法实现文本自动生成的文本句子表达模式固定，不具有灵活性，不适于当前环境下，复杂多变的语言文字表达交流；采用长短期记忆LSTM(Long Short term Memory)模型实现的文本生成在一定的程度上可以有一定的变化，但是容易出现较多的语法错误，且产生的文本主题信息不明确；采用生成对抗网络GAN(Generative Adversarial Networks)模型的方法在训练语言模型的时候，由于自然语言的离散数据特性，不容易训练，虽然可以产生的文本较灵活，但是训练的代价很大，需要耗费很大的资源去训练和实现。

发明内容

为此，本发明提供一种基于循环卷积注意力模型的文本生成方法及装置，降低历史信息衰弱特性，训练测试容易，消耗低。

按照本发明所提供的设计方案，一种基于循环卷积注意力模型的文本生成方法，包含如下内容：

采集互联网文本数据作为样本数据库，该样本数据库中包含文本主题及与文本主题对应的文本数据；

将样本数据库作为循环卷积注意力模型的输入和输出，对循环卷积注意力模型进行训练，其循环卷积注意力模型中包含长短期记忆网络模块、注意力机制模块和循环卷积网络模块，长短期记忆网络模块包含若干个LSTM长短期记忆网络节点；

将待处理文本主题输入到已训练好的循环卷积注意力模型中进行测试，将循环卷积注意力模型输出即为该待处理文本主题的生成文本。

上述的，对循环卷积注意力模型进行训练时，将文本主题作为长短期记忆网络模块中初始LSTM长短期记忆网络节点输入，将已经生成的字符与当前LSTM长短期记忆网络节点的输出作为循环卷积网络模块输入，并将循环卷积网络模块输出的生成字符和当前LSTM长短期记忆网络节点的输出作为下一个LSTM长短期记忆网络节点的输入，对循环卷积注意力模型进行训练，获取模型参数数据。