[发明专利]基于语句融合的文本摘要生成方法、系统、终端及介质

权利要求书

1.一种基于语句融合的文本摘要生成方法，其特征在于，包括：

对输入文本进行分句和分词，并记录每个词语所在句子的索引；

对分句和分词的结果先后进行词语和句子的表征，获得句子向量，并在句子向量的末尾添加分割符和结束符；

提取重要的句子，并根据分割符进行组别划分，形成多个句子组；

对每个句子组进行融合修饰，获得文本摘要；

对提取重要的句子和对每个句子组进行融合修饰的过程中所采用的神经网络进行交替训练，完成两个神经网络参数的梯度更新；

所述对分句和分词的结果先后进行词语和句子的表征，获得句子向量，并在句子向量的末尾添加分割符和结束符，包括：

使用预训练语言模型，获得每个词的表征向量，对获得的词的表征向量使用池化操作，获得句子的表征向量；

在得到的句子的表征向量的末尾，添加分割符向量以及结束符向量；

所述分割符向量以及结束符向量维度与句子向量相同，采用随机初始化；

所述提取重要的句子，并根据分割符进行组别划分，包括：

使用基于长短时记忆神经网络的指针网络提取重要的句子；

所述指针网络使用注意力机制，并结合顺序选择对应句子、分割符或结束符；

其中，对于多个句子组之间采用分割符，当结束时输出结束符；

所述对每个句子组进行融合修饰，获得文本摘要，包括：

使用基于长短时记忆神经网络的指针生成网络；

采用指针生成网络中的编码器先对每一个句子组进行编码获得句子组的表征向量；

采用指针生成网络中的解码器对句子组的表征向量进行解码，并在解码过程中通过注意力机制拷贝原文词语。

2.根据权利要求1所述的基于语句融合的文本摘要生成方法，其特征在于，所述对提取重要的句子和对每个句子组进行融合修饰分别采用了基于长短时记忆神经网络的指针网络和指针生成网络；使用合作强化学习对上述过程中采用的指针网络和指针生成网络进行交替训练，完成两个神经网络参数的梯度更新，包括：

合作强化学习交替训练指针网络和指针生成网络；

指针网络和指针生成网络共享回报函数；

通过策略梯度下降算法完成指针网络和指针生成网络参数的梯度更新。

3.根据权利要求2所述的基于语句融合的文本摘要生成方法，其特征在于，对于指针网络，每一个抽取行为的参数的梯度函数如下所示：

其中，π表示网络策略，c_t为状态向量，用于表征当前抽取网络状态，a_t表示行为，即抽取句子、分割符或结束符，R_t为回报函数，用于量化抽取网络的行为对于任务的贡献，b_t为任意基准函数；

对于指针生成网络，每一个生成行为的参数的梯度函数如下所示：

其中，π表示网络策略，c_t表示指针生成网络的当前状态向量，a_t表示行为，即生成摘要词汇，是采样解码获得的动作，R_t(a_t)为采样解码获得的回报函数，用于表征融合网络对于人物的贡献，b_t为任意基准函数。

4.根据权利要求2所述的基于语句融合的文本摘要生成方法，其特征在于，所述指针网络和指针生成网络共享回报函数，所述回报函数R_t(a_t)如下所示：

R_t(y′_t)＝SIM(y′_t，y_t)

其中，y′_t为融合网络第t个句子组采样解码获得的摘要句子，y_t为标准人类产生的摘要句子中的第t个句子，SIM是评测相似度的任意函数。

5.根据权利要求2所述的基于语句融合的文本摘要生成方法，其特征在于，所述交替训练指针网络和指针生成网络的训练过程，包括：

对于每一个样本，先前向运行网络，获得输出概率、回报和基准；然后对指针网络和指针生成网络分别进行参数更新，循环迭代，直到收敛。