[发明专利]一种基于知识提取的轻量型摘要生成方法

权利要求书

1.一种基于知识提取的轻量型摘要生成方法，其特征在于，包括以下两个阶段：阶段1：通过深度学习相关算法，生成文本摘要模型；

阶段2：获取用户输入，调用文本摘要模型，生成所对应的文本摘要；

阶段1包括的具体步骤如下：

步骤1.1：文本数据的预处理，包括四个过程：读取文本并去噪处理；过滤掉200字符以下的语句；文本分词；文本变换句向量；

步骤1.2：文本摘要模型构建，包括四个过程：文本句向量获取；候选模型1代价函数提取；候选模型2代价函数提取；知识提取；

步骤1.3：文本摘要模型训练；

步骤1.4：文本摘要模型评估与调优；

步骤1.5：文本摘要模型生成，包括将训练好的模型保存在计算机中，并通过改变模型训练数据集或者迭代次数，以获得多类型的摘要生成模型；

阶段2包括的具体步骤如下：

步骤2.1：接受用户输入的长文本数据；

步骤2.2：对用户输入的长文本数据进行预处理，包括对句子进行分词和过滤字符，然后分类处理并提取文本特征；

步骤2.3：调用文本摘要模型对用户数据进行处理，包括调用步骤1.5所述获得摘要生成模型；

步骤2.4：针对用户输入的长文本数据，生成简短摘要。

2.根据权利要求1所述的基于知识提取的轻量型摘要生成方法，其特征在于：步骤1.2文本摘要模型构建中所述文本句向量获取：通过对每个句子的所有词向量取加权均值，来生成一个句子的句向量：

其中，sen_vec表示句向量，n表示每个样本中词的个数，vec_i表示每个词的词向量，weight(i)表示每个词的权重，权重通过信息增益方法获得。

3.根据权利要求2所述的基于知识提取的轻量型摘要生成方法，其特征在于：步骤1.2文本摘要模型构建中所述候选模型1代价函数提取：候选模型1为BERT模型，BERT模型属于无监督的深度学习方法，主要分为两个步骤：预训练，在大量各种任务的无标签的数据上训练模型；微调，根据特定的下游任务，为模型添加输出层，使用定义好的参数对模型进行初始化，然后在该任务的有标签的数据集上对模型的参数进行微调；

BERT模型是改进的Transformer模型，采用注意力机制，包括Encoder和Decoder两个阶段，BERT模型采用的代价函数如下：

其中，m是训练样本数，i代表目前训练的第i个样本，h_θ是用参数θ和x预测出来的输出值，y是原训练样本中的输出值，k表示在多分类的类行数，x⁽ⁱ⁾表示第i个训练样本的输入值，y_k⁽ⁱ⁾表示在当前k类行数下第i个训练样本的输出值。

4.根据权利要求3所述的基于知识提取的轻量型摘要生成方法，其特征在于：步骤1.2文本摘要模型构建中所述候选模型2代价函数提取：候选模型2为双向长短期记忆网络BiLSTM模型，BiLSTM模型由前向LSTM与后向LSTM组成，一个是正向处理输入队列，一个是反向处理序列，处理完成后将两个队列的输出拼接；

BiLSTM模型采用的代价函数如下：

其中，N为样本数量，y是原训练样本中的输出值，y_i表示第i个训练样本的原输出值，表示该模型训练出的输出值，故代表训练样本中输出值的误差。