[发明专利]新闻评论自动生成方法及其装置

说明书

本发明涉及本发明涉及一种新闻评论自动生成方法及其装置，其将新闻标题作为原始数据；对新闻标题数据进行预处理来构造训练数据，训练数据作为LSTM模型的输入进行模型的训练；通过训练样本数据得到预先训练的LSTM模型，在模型中加入鉴别器，形成GAN模型，将LSTM模型生成的评论用鉴别器区别真假评论，LSTM模型作为生成器与鉴别器相互博弈，直至输出结果达到阈值，为保证输出结果(模型生成的评论)与新闻的上下文相关性，运用门控注意力机制，有效处理上下文信息。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种新闻评论自动生成方法及其装置。

背景技术

经典的网络之循环神经网络(RNN)，这一网络也是时序数据的首选网络。当涉及某些顺序机器学习任务时，RNN可以达到很高的精度，没有其他算法可以与之一较高下。这是由于传统的神经网络只是具有一种短期记忆，而RNN具有有限的短期记忆的优势。

RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。以往的深度生成模型需要马尔科夫链或近似极大似然估计，产生很多难以计算的概率问题，不能为部分序列打分，只能评价完整序列，针对离散数据，反向传播存在难题。

发明内容

针对现有技术中存在的技术问题，本发明的首要目的是提供一种新闻评论自动生成方法及其装置。基于此目的，本发明主要提供如下技术方案：

新闻评论自动生成方法，其包括以下步骤：

步骤S1、收集多组目标特征新闻标题；

步骤S2、对收集到的上述新闻标题进行预处理来构造训练数据，将所述训练数据输入LSTM模型进行训练，从而形成新闻编码；

步骤S3、加入门控注意力机制，对上述新闻编码进行解码，从而生成新闻评论；

步骤S4、加入鉴别器，形成GAN模型，将LSTM模型生成的评论用鉴别器区别真假评论，LSTM模型作为生成器与鉴别器相互博弈，直至输出结果达到阈值。

进一步的，步骤S1中，所述目标特征新闻标题要求使用编码方式相同，语言一致。

进一步的，步骤S2中，对收集到的新闻标题数据进行预处理来构造训练数据，得到字符-数字的映射和数字-字符的映射，建立LSTM模型的输入one-hot向量，根据one-hot向量构建词嵌入表示。

进一步的，步骤S3中，计算当前隐藏向量和新闻标题的所有隐藏向量之间的注意力分数，并进行归一化得到最终的注意力权重；通过使用新的隐藏向量，模型可以在生成每个词时强调标题的不同部分；这个过程在该解码阶段可以看到，模型不仅自适应地使用上下文信息，而且选择性地使用信息。

进一步的，步骤S4中，所述博弈具体包括，生成器与鉴别器进行二元极小极大的博弈，最终达到纳什均衡。

进一步的，步骤S4中，选择CNN卷积神经网络作为鉴别器，利用策略梯度强化学习进行对抗训练，在对抗训练开始时，使用极大似然估计(MLE)对训练集上的评论生成器进行预训练，直到生成器达到收敛为止。

进一步的，所述门控注意力机制涉及的公式如下：

①

d_i＝v^T tanh(W_hh_i+W_ss_j)

式(8)；