[发明专利]一种摘要的生成方法、装置及存储介质

权利要求书

1.一种摘要的生成方法，其特征在于，包括以下步骤：

S1、解码器根据训练数据库中的构建词表逐步获得对应的角色在输出词表中的相关单词的输出概率；

S2、将输出概率最大的k个单词提取出来拼接到模型中已解码的单词序列上作为候选摘要，其中k大于1；

S3、模型将多个候选摘要按照输出概率的大小进行排序，并确保束的大小为k；模型预测结束后，取输出概率最大的候选序列作为摘要。

2.根据权利要求1所述的摘要的生成方法，其特征在于，在步骤S1中，所述角色包括用户角色和客服角色。

3.根据权利要求1所述的摘要的生成方法，其特征在于，在步骤S1之前还包括建立和优化摘要生成模型，具体包括以下步骤：

T1、采用不同的编码器将对话内容按照不同的角色进行相应编码；

T2、解码器根据对应的角色获取该角色的语句表示，解码器解码时采用不同的注意力模块关注到其他角色的语句表示；

T3、计算不同解码器关注到同一个角色的语句表示的跨越注意力分布的KL散度，得到跨越注意力交互的损失函数；

T4、在解码器的自注意力模块中，每个解码器的隐层表示关注到其他解码器的隐层表示，形成角色自注意力交互；

T5、解码器预测每个位置单词的输出概率，根据所述输出概率结合最大似然估计得到摘要的损失函数；

T6、综合所述跨越注意力交互的损失函数和所述摘要的损失函数，对于模型进行梯度下降的训练和优化。

4.根据权利要求3所述的摘要的生成方法，其特征在于，在步骤T1中，所述采用不同的编码器将对话内容按照不同的角色进行相应编码包括：

步骤T11、将对话语句的说话人角色信息和对话内容按轮次顺序拼接在一起，经过词嵌入层得到词嵌入表示；

步骤T12、使用编码器将所述词嵌入表示进行编码，得到对话中每个词的表示。

5.根据权利要求3所述的摘要的生成方法，其特征在于，在步骤T2中，所述解码器根据对应的角色获取该角色的语句表示，解码器解码时采用不同的注意力模块关注到其他角色的语句表示包括：

步骤T21、根据对话中每句话的说话人角色，将对话按照不同的角色进行表示；

步骤T22、解码器对于所有角色的语句分别进行注意力的关注，得到注意力的分布表示以及编码器上下文表示。

6.根据权利要求3所述的摘要的生成方法，其特征在于，在步骤T4中，所述在解码器的自注意力模块中，每个解码器的隐层表示关注到其他解码器的隐层表示，形成角色自注意力交互包括：

步骤T41、每个解码器根据上一时刻的解码状态和当前的输入信息，得到解码器当前时刻的隐层状态；

步骤T42、将解码器当前时刻的隐层状态关注到其他解码器所有之前时刻的隐层状态，得到角色摘要的上下文表示。

7.根据权利要求3所述的摘要的生成方法，其特征在于，在步骤T5中，所述解码器预测每个位置单词的输出概率包括：

解码器根据自身的隐层状态信息、编码器上下文表示和角色摘要的上下文表示，预测摘要中每个位置的单词的输出概率。

8.根据权利要求3所述的摘要的生成方法，其特征在于，在步骤T6中，所述综合所述跨越注意力交互的损失函数和所述摘要的损失函数，对于模型进行梯度下降的训练和优化包括：

T61、将跨越注意力交互的损失函数和摘要的损失函数进行加权融合；

T62、使用梯度下降算法对模型进行训练和优化至损失在验证集上不再下降为止。

9.一种摘要的生成装置，其特征在于，包括：

解码器，用于根据训练数据库中的构建词表逐步获得对应的角色在输出词表中的相关单词的输出概率；

数据处理单元，用于将输出概率最大的k个单词提取出来拼接到模型中已解码的单词序列上作为候选摘要，其中k大于1；

摘要生成单元，将多个候选摘要按照输出概率的大小进行排序，并确保束的大小为k；预测结束后，取输出概率最大的单词生成摘要。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述摘要的生成方法的步骤。