[发明专利]基于命名实体识别附加标签和先验知识的文本摘要生成方法

权利要求书

1.基于命名实体识别附加标签和先验知识的文本摘要生成方法，其特征在于，包括以下步骤：

(1)将原始文本输入到命名实体识别模块中进行实体标记，在原始文本的基础上添加命名实体识别的附加标签：实体标记的标签类别分为PERSON、ORG和LOC三类，PERSON表示人名，ORG表示组织，LOC表示地名；实体标记的标签边界定义分别为PERSON/PERSON，ORG/ORG，LOC/LOC；利用第三方库Stanford-NER对原始文本进行实体标记，给定原始文本为X＝{x₁,x₂，......,x_n}，生成带附加标签的文本序列n表示文本序列的长度；

(2)将文本序列X^e基于字符进行处理，同时根据原始文本生成对应的向量字典并对文本向量化：将文本基于字符分词处理，生成文本序列以空格为分割标志，中文文本中的英语单词不分割，完整保留；分词后的文本序列按照字符出现顺序向量标记，重复字符只标记一次，生成的向量字典表示为V＝{v₁,v₂,......v_m}，其中m表示文本序列中出现的字符数量；另外，向量字典中添加start和end标签的向量表示，分别记录每个文本的开始和结束；利用向量字典v对文本序列向量化表示为其中为中的一项，a表示该序列的长度；

(3)将步骤(2)得到的向量化文本序列作为生成式摘要模块的输入，将输入进行编码，解码阶段引入注意力机制，获取全局信息；所述生成式摘要模块具体实现步骤如下：

S3-1:序列输入生成式摘要模块的Encoder部分，把序列中的每一项编码为固定大小的向量，经过Encoder编码后的向量表示为编码阶段使用双向长短时记忆网络BiLSTM，记忆门的神经元输入门神经元遗忘门神经元输出门神经元其中σ为sigmoid函数，W_f,b_f,W_i,b_i,W_c,b_c是各个门神经元的参数，W₀表示权重，b₀表示偏重，h_t表示当前时刻神经元的状态，i表示更新到当前神经元的信息，是当前t时刻的输入；

S3-2:生成式摘要模块的Decoder部分将编码得到的序列作为输入，经过解码生成的输出序列表示为Y_n，Y_n＝{y₁,y₂,......y_n}；解码阶段，根据编码得到的序列和从第1时刻到第t-1时刻输出结果的集合Y_t-1＝{y₁，y₂,......y_t-1}来预测第t时刻的输出结果y_t，计算公式为其中p(·)表示条件概率计算函数；当到达第n时刻最终得到序列Y_n；其中y₁表示第1时刻输出的结果，y₂表示第2时刻输出的结果，y_t-1表示第t-1时刻输出的结果；

S3-3:在生成式摘要模块的Decoder部分引入注意力机制Attention，将解码的输出序列Y_n做为Attention的输入；注意力机制Attention的公式定义为其中选择K＝V，用解码生成的输出序列Y_n表示，编码得到的序列表示为Q，通过Q的每一项与K的每一项进行相似度计算得到权重，使用softmax函数对这些权重进行归一化处理，最后将权重和V中相应的每一项进行加权求和得到包含全局信息的序列Ya；

(4)使用原始文本中的词集构建先验知识库，与步骤(3)得到的序列Ya做加权平均：根据文本序列X^e和对应的摘要得到先验知识库的向量序列X_pre＝(X₁,X₂,...,X_n)，其中X_n＝1表示该词在摘要中出现过，X_n＝0表示该词没有在摘要中出现过，X_n＝2表示该词为标记过的实体；将X_pre经过一个缩放平移得到：其中s,t为训练参数，将与Ya加权平均后使用softmax函数得到序列

(5)解码阶段得到的结果通过集束搜索方法进行文本还原，得到还原的文本摘要结果：在对输出序列每一项计算时，只保留当前最优的top_k个候选结果，选择top_k＝3，即每次还原计算时保留使最大的3个Y1，将Y1分别代入仍然保留使P最大的3个Y2，依次递归，直到出现end标签表示还原摘要结束；

(6)根据定义的实体标记的标签边界，删除对应标签，最终得到原始文本的摘要结果。