[发明专利]一种摘要的生成方法、装置及存储介质

说明书

本发明公开一种摘要的生成方法、装置及存储介质，属于自然语言处理技术领域。该摘要的生成方法，包括：S1、解码器根据训练数据库中的构建词表逐步获得对应的角色在输出词表中的相关单词的输出概率；S2、将输出概率最大的k个单词提取出来拼接到模型中已解码的单词序列上作为候选摘要；S3、模型将多个候选摘要按照输出概率的大小进行排序，并确保束的大小为k；模型预测结束后，取输出概率最大的候选序列作为摘要。本发明还包括摘要的生成装置和存储介质。该存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述摘要的生成方法的步骤。该生成方法帮助模型生成更好的面向该角色的摘要，生成的摘要内容有显著的提升。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种摘要的生成方法、装置及存储介质。

背景技术

文本摘要是一种将一段长文本中的内容用一段短文本进行概括的任务。应用该技术可以使人们快速掌握文本中的关键信息。近些年，随着通讯手段的不断进步，越来越多的文本信息以对话形式出现。对话文本存在轮数较长，语义不连贯，表达方式口语化等众多特点。相较于直接阅读对话原文，阅读该对话的一段摘要能够大幅提高人们的阅读效率，因此对话摘要技术开始逐渐受到人们的关注。

相较于一般的文本，对话的一个特点在于其由多个说话人的表达内容构成，而每个说话人在对话中都扮演着各自的角色和持有各自的观点。因此，除了针对于对话的讨论内容做一个通用的整体摘要以外，我们还可以针对于不同的对话角色摘要出和该角色相关的摘要内容，即面向角色的对话摘要。在客户服务领域，角色摘要有着很大的实际应用价值。面向用户的摘要主要包含用户提出的疑问和遇到的难点，可以反应出哪些问题经常被用户提出，便于相关平台进行统计分析。面向客服的摘要主要包括客服解决问题的流程，可以帮助平台自动评价客服的服务质量。

现有的面向角色的对话摘要方法大多将不同角色分开来看，分别摘要各自角色的主要内容，如何利用其他角色的信息生成面向角色的对话摘要是现有技术需要解决的问题。

发明内容

由于对话中不同角色之间存在着交互，某一个角色的说话内容有可能对于另一个角色的摘要提供必要的帮助。因此，本发明提出了一种摘要的生成方法、装置及存储介质，包含不同的角色，从对话语句方面和摘要方面提取其他角色的关键信息，帮助模型生成更将准确的面向该角色的摘要内容。

本发明的技术方案提供一种摘要的生成方法，包括以下步骤：

S1、解码器根据训练数据库中的构建词表逐步获得对应的角色在输出词表中的相关单词的输出概率；

S2、将输出概率最大的k个单词提取出来拼接到模型中已解码的单词序列上作为候选摘要，其中k大于1；

S3、模型将多个候选摘要按照输出概率的大小进行排序，并确保束的大小为k；模型预测结束后，取输出概率最大的候选序列作为摘要。

进一步地，在步骤S1之前还包括建立和优化摘要生成模型，具体包括以下步骤：

T1、采用不同的编码器将对话内容按照不同的角色进行相应编码；

T2、解码器根据对应的角色获取该角色的语句表示，解码器解码时采用不同的注意力模块关注到其他角色的语句表示；

T3、计算不同解码器关注到同一个角色的语句表示的跨越注意力分布的KL散度，得到跨越注意力交互的损失函数；

T4、在解码器的自注意力模块中，每个解码器的隐层表示关注到其他解码器的隐层表示，形成角色自注意力交互；

T5、解码器预测每个位置单词的输出概率，根据所述输出概率结合最大似然估计得到摘要的损失函数；

T6、综合所述跨越注意力交互的损失函数和所述摘要的损失函数，对于模型进行梯度下降的训练和优化。

进一步地，在步骤T1中，所述采用不同的编码器将对话内容按照不同的角色进行相应编码包括：

步骤T11、将对话语句的说话人角色信息和对话内容按轮次顺序拼接在一起，经过词嵌入层得到词嵌入表示；