[发明专利]一种自然语言的摘要生成方法

权利要求书

1.一种基于Seq2seq模型的摘要生成方法，其特征在于，包括：

将待生成摘要的文本使用最大熵隐马尔可夫模型进行中文分词；

将分词后的文本转化为词向量序列；

将词向量序列输入经训练的Seq2seq模型得到的输出作为摘要；

对所述Seq2seq模型中的Encoder编码模型进行修改，将LSTM隐层单个细胞节点的输入门和遗忘门结构计算公式改进如下:

其中，I表示输入节点数，H表示输出节点数，C表示隐藏节点数，w_il表示输入门中输入节点i到隐藏节点l的连接权重，表示t时刻第i个节点的输入，ζ_b表示输入门中输出节点系数，w_hl表示输入门中输出节点h到隐藏节点l的连接权重，表示t时刻第h个节点的输出，ζ_s表示输入门中隐藏节点系数，w_cl表示输入门中隐藏节点c到隐藏节点l的连接权重，表示t时刻第c个节点的状态，表示t时刻输入门的状态，表示t时刻输入门的输出，g(·)表示输入门的激活函数，w_iφ表示遗忘门中输入节点i到隐藏节点φ的连接权重，η_b表示遗忘门中输出节点系数，w_hφ表示遗忘门中输出节点h到隐藏节点φ的连接权重，η_s表示遗忘门中隐藏节点系数，w_cφ表示遗忘门中隐藏节点c到隐藏节点φ的连接权重，表示t时刻遗忘门的状态，表示t时刻遗忘门的输出，f(·)表示遗忘门的激活函数，||·||^*表示核范数，max(·)表示最大值函数。

2.根据权利要求1所述的方法，其特征在于，对所述最大熵隐马尔可夫模型的目标函数进行调整，直接采用与文本特性直接相关的特征函数关系来计算当前误差。

3.根据权利要求2所述的方法，其特征在于，所述最大熵隐马尔可夫模型估计每个局部标记的概率模型为：

其中λ＝λ₁,λ₂…λ_i…λ_n代表输入的句子，n为句子长度，λ_i表示句子中的每个字，o＝o₁,o₂…o_i…o_n代表输出的标签序列，每个字的标签为以下四个标记的一种：B、M、E、S，其中，B表示词语开始，M表示中间词，E表示单词的结尾，S表示单个字，g_i表示当前的输入序列，表示如下：

g_i＝＜o_i-2,o_i-1,λ₁,λ₂…λ_n,i＞

f_j(g_i,λ_i)为g_i,λ_i的第j个特征函数，f(g_i,λ_i)共有J个特征函数，每个特征函数用布尔函数表示，函数值只能有1或者0两种情况，即：

γ_j为f_j(g_i,λ_i)相关联的需要学习的权重，

所述γ_j利用条件极大似然估计进行训练，其中需要最大化的目标函数是：

其中，为对o_i＝B或M或E或S时进行求和。

4.根据权利要求1所述的方法，其特征在于，所述最大熵隐马尔可夫模型的解码过程采用改进的Viterbi算法，所述改进为：在Viterbi算法求解最优路径概率的过程中用自适应阈值直接裁减掉不可能或者低概率的路径，其中δ_t(i)代表时刻t第i个字的所有单个路径的概率，b为自适应阈值中的参数，其作用为去掉所有路径中概率排序靠后的(1-b)*100％比例的路径。