[发明专利]基于异构图神经网络的文本摘要生成方法及系统

说明书

本发明公开了基于异构图神经网络的文本摘要生成方法及系统，包括：获取待处理文档；将待处理文档的换转为对应的文档张量、句子张量和单词张量；使用文档张量、句子张量和单词张量，对异构图网络的节点进行初始化；其中，异构图网络包括文档节点、句子节点和单词节点；对异构图网络的节点进行迭代更新；将迭代更新后的异构图网络的句子节点提取出来，对提取出的句子节点进行句间关系弥补；根据弥补句间关系的句子，得到最终的摘要语句。最终本申请选择融合了丰富信息的句子节点来生成最终的文档摘要。

技术领域

本发明涉及自动文本摘要技术领域，特别是涉及基于异构图神经网络的文本摘要生成方法及系统。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

随着社会的发展，各种各样的信息让人们应接不暇。特别地，大部分的信息往往以文本的形式存在。例如，微信中推送的公众号的文章，微博中的热搜信息以及各大新闻网站中的新闻。面对互联网中如此庞大的文本信息，仅仅依靠人工处理是不现实的。因此，本申请需要一种技术来自动提取这些文本信息的重要的一部分作为摘要以节省人们的宝贵时间。为了帮助人们节约时间，不再把宝贵的时间花费在阅读冗长的文章上，自动化文本摘要技术应运而生。

显然，自动文本摘要的目标是生成简洁的句子来替代冗长的原文。目前，自动文本摘要可以分为两种类型，一种是抽取式总结，另一种是生成式总结。抽取式摘要是指从原始文章中选择被认为是重要的原始句子，并将这些原始句子组合起来，生成最终的总结。相比之下，生成式摘要方法产生的摘要中的句子并不是简单地从原文中选取的，而是在通过模型学习原文后从零重新生成的。这两种方式各有自己的优缺点。生成式摘要的优点是生成的句子是重新组织的，可以结合原文中的各种信息来构建新的句子；而他的缺点则是生成的句子会面临着语法问题甚至真实性问题的困扰。抽取式摘要的优点是生成的句子是从原文中抽取出来，这样将不会存在语法问题和真实性的困扰；但是他的缺点也非常明显，因为最终的摘要都是从原文中选取出的原句，所以这些句子的概括性往往不强，并且比较呆板。

由于深度学习的快速发展，许多模型采用了深度神经网络的结构，如长短时记忆(LSTM)，Transformer等。尽管它们取得了成功，但存在一个显著的局限性，即它们很难完全捕获长距离句子的依赖。它们只是根据原文中句子的顺序将句子加载到模型中进行训练。因此，他们无法完全理解这篇长文章的含义。它们在自动指标(如ROUGE)方面的表现已经达到了一定水平，而且似乎很难进一步提高。为了解决这个问题，许多研究人员进行了大量的实验，其中使用图神经网络进行提取摘要的方法取得了很大的进步。然而，为抽取摘要选择合适的图结构也是一项具有挑战性的任务。

发明内容

为了解决现有技术的不足，本发明提供了基于异构图神经网络的文本摘要生成方法及系统；选择使用异构图网络来建模句间关系，并在节点的更新方式上选择使用图注意力网络来更新不同粒度节点的信息。其次，本申请不再单单以句子为对象进行建模句间关系，本申请将整个文档也当做一种节点类型。这样本申请的异构图网络中存在3种节点类型：单词节点，句子节点，和文档节点。这三种节点通过图注意力机制不断的迭代更新，最终本申请选择融合了丰富信息的句子节点来生成最终的文档摘要。

第一方面，本发明提供了基于异构图神经网络的文本摘要生成方法；

基于异构图神经网络的文本摘要生成方法，包括：

获取待处理文档；将待处理文档的换转为对应的文档张量、句子张量和单词张量；

使用文档张量、句子张量和单词张量，对异构图网络的节点进行初始化；其中，异构图网络包括文档节点、句子节点和单词节点；

对异构图网络的节点进行迭代更新；

将迭代更新后的异构图网络的句子节点提取出来，对提取出的句子节点进行句间关系弥补；

根据弥补句间关系的句子，得到最终的摘要语句。