[发明专利]一种长篇章结构化文本摘要提取方法

说明书

本发明提供的长篇章结构化文本摘要提取方法，采用动态词嵌入方法可以根据周围单词动态地获取词向量，解决了文本中的多义词问题；采用篇章结构分析，根据句间的关系识别结果合理划分段落，让计算机从全局角度理解文本；采用基于模型和规则的摘要提取是在篇章结构分析的基础上对每一段进行摘要提取的，既解决了传统长文本摘要直接截取的问题；又解决了多领域文本摘要提取问题。

技术领域

本发明属于自然语言处理技术领域，特别涉及一种长篇章结构化文本摘要提取方法。

背景技术

目前长文本在进行摘要提取时一般涉及词嵌入、文本摘要提取、篇章结构分析三部分的处理，对于词嵌入，是将文本数据中的词转化为机器可以学习的数值向量，传统的词嵌入是先对文本中的词采用one-hot编码，再放入Word2Vec模型中进行学习，最终完成从文本到数值向量的映射，该方法简单高效，但无法解决多义词问题，因为Word2Vec下的每个字/词只有一个固定表示，且字/词的出现与上下文无关。

文本摘要提取是机器通过对文本特征学习，提取文中重要的句子作为该文本摘要的过程，其实际也是一个分类问题，即对文本句子作重要与否的二分类处理，其中重要的句子则是该文本摘要。目前主流的文本摘要提取方法是基于神经网络模型，其主要分编码与解码两个部分。编码过程是机器对文本特征学习的过程，其中包括句子编码、位置编码、文章编码等，方法有CNN、RNN、BERT等；解码过程主要是分类过程，依据编码的输出结果和给定的标签，完成分类器的训练。

但是目前文本摘要提取主要存在以下问题：(1)现有摘要提取模型在编码过程中并未很好的解决长文本问题，对于长文本问题现有技术主要采用的是直接截断的方法，再对截断后的数据进行编码操作，如此操作会极大可能丢失长文本中的重要信息；也有技术是在编码时加入段落与段落之间的编码表示，该技术存在一定的局限性，例如输入的文本并未分段，或者相邻段落之间无相关关系。(2)现公开用于中文摘要提取的数据所涉领域单一，且单个数据文本较短，该数据用于对特殊领域的长文本摘要提取训练任务并不友好。

篇章结构分析是用于识别不同文本块之间的语义关系，可以从全局角度理解文本，进而能进一步优化文本自动摘要提取，目前研究人员将将篇章结构分析又分为显式结构分析与隐式结构分析，其中显式结构分析是对存在显式连接词的篇章进行结构分析，这类篇章相比较没有连接词的篇章在结构分析中容易。在针对长文本的自动摘要提取系统中，对篇章结构分析识别文本中句间因果，转折等关系，竟而区分主次关系，相较于直接截取长文本的方法，该方法更适合对长文本进行摘要提取。

目前篇章分析存在的问题有如下几点：对于没有篇章连接词的情况下如何对篇章结构进行分析？对篇章结构的分析如何应用到下游的自动摘要抽取具体任务中？综合上述的现状，仍然存在很多问题需要解决。

发明内容

为了解决上述现状中存在的多义词问题、长文本摘要提取中采用直接截断，无篇章结构分析问题及多领域下的长文本摘要提取问题，本发明提供了一种长篇章结构化文本摘要提取方法，步骤为：

(1)转化为数值信息

对输入的长文本信息进行按标点符号进行分句处理，对每一句采用Bert WordEmbedding动态词嵌入处理转换成该句的向量矩阵，即计算机学习的数值信息；

(2)篇章结构分析

对每两句进行隐式篇章关系分析，即将每两个相邻子句放入两个双向GRU模型中进行处理，对两个模型的隐藏层信息进行拼接，将拼接后的结果放入多层感知机中进行分类，得到预测的类别概率，取概率最高的类别标签作为对应标签，并依据识别的标签类别对长文本进行合理分段；

(3)摘要提取

按照基于模型和规则两种方式对步骤(2)中分好的每个段落进行摘要提取，最终的摘要结果输出是融合了这两种方式的输出结果。