[发明专利]一种自然语言的摘要生成方法

说明书

本发明涉及一种自然语言的摘要生成方法，属于自然语言生成领域。本发明方法首先对基于最大熵隐马尔可夫的分词模型进行了优化调整；然后对seq2seq模型中Encoder部分隐层神经网络节点的输入门和遗忘门加入自适应权重调整权值，动态的调整隐层节点在不同时刻对上一时刻信息的更新和保留程度；其次在Seq2seq模型中Encoder部分训练时，基于条件信息熵来得到系统的损失函数，并利用由空间权重和数值权重组成的自适应动态惯性权重对函数进行调整；最后优化了基于改进核心词的注意力机制和解码端新词生成概率的计算公式方法，并改进了解码端模型中的覆盖损失。对比现有技术，本发明可以很好解决摘要生成速度过慢等问题，提升摘要生成的流畅性和实用性。

技术领域

本发明涉及一种摘要生成方法，特别涉及一种基于Seq2seq模型的摘要生成方法，属于人工智能自然语言生成技术领域。

背景技术

随着社会发展进入大数据时代，各色各样的文本信息出现在人们的日常生活中，微博、微信、新闻等大量的文本信息无时无刻不出现在人们周围，这导致人们被大量无用的信息所干扰，从而无法获取到有用的信息。如果人们在看到大量的文本信息前，首先看到这些文本的摘要，进而确定此文本是否为自己需要的有用信息，这样就可以大大减少被无用信息干扰的可能性，从而方便人们的生活工作。但是无论是互联网海量的数据资源，还是医院中病历等专业信息，一般都没有摘要，如果要为这些文件提供摘要，将会耗费大量的人力资源，并且像病历这类专业的文件需要专业的医生来整理，否则可能会产生差异化不准确的摘要信息，影响数据的使用。随着人工智能技术的逐渐发展与完善，特别是神经网络技术的不断应用，用机器来为文章自动生成摘要迫在眉睫。

发明内容

本发明的目的为了解决当前信息爆炸时代文本数据量大、信息种类多且繁杂和阅读效率低的问题，提供一种自然语言摘要生成方法。

本发明的目的是通过以下技术内容实现的。

一种基于Seq2seq模型的摘要生成方法，包括以下内容：

将待生成摘要的文本使用最大熵隐马尔可夫模型进行中文分词；

将分词后的文本转化为词向量序列；

将词向量序列输入经训练的Seq2seq模型得到的输出作为摘要。

作为优选，对所述最大熵隐马尔可夫模型的目标函数进行调整，直接采用与文本特性直接相关的特征函数关系来计算当前误差。

作为优选，对所述最大熵隐马尔可夫模型的权重估计进行改进，具体的，所述最大熵隐马尔可夫模型估计每个局部标记的概率模型为：

其中λ＝λ₁,λ₂…λ_i…λ_n代表输入的句子，n为句子长度，λ_i表示句子中的每个字，o＝o₁,o₂…o_i…o_n代表输出的标签序列，每个字的标签为以下四个标记的一种：B、M、E、S，其中，B表示词语开始，M表示中间词，E表示单词的结尾，S表示单个字，g_i表示当前的输入序列，表示如下：

g_i＝＜o_i-2,o_i-1,λ₁,λ₂…λ_n,i＞

f_j(g_i,λ_i)为g_i,λ_i的第j个特征函数，f(g_i,λ_i)共有J个特征函数，为超参数，每个特征函数通常用布尔函数表示，函数值只能有1或者0两种情况，即：