[发明专利]基于句子向量的多文档摘要自动提取方法及系统

说明书

本发明公开了基于句子向量的多文档摘要自动提取方法及系统，包括以下步骤：S1、预处理文档集；S2、采用doc2vec模型训练生成句子向量；S3、聚类为各个子主题文档；S4、在各子主题文档中建立句子关系图模型；S5、计算句子权重；S6、抽取句子排序形成摘录。本发明通过大语料集训练doc2vec模型将目标文档集中所有句子用向量表示；用谱聚类聚为各个子主题，在每个子主题中抽取一个句子，从而避免句子冗余问题；按照句子在原文档中的位置排序组成文摘，提高文摘句子的前后连贯性。

技术领域

本发明涉及计算机文本挖掘领域，尤其涉及基于句子向量的多文档摘要自动提取方法及系统。

背景技术

文档自动摘要技术通过计算机为用户进行文本总结和精炼，提供文本的概括性信息。用户只需简短阅读摘要就可以初步窥探全文的重点内容，大幅提升了用户获取或理解信息的效率。单文档自动摘要是计算机通过算法自动生成一篇文档主要内容的摘要，自1958年Luhn提出文档自动生成摘要的方法以来，基于单文档自动摘要的研究便如火如荼地展开，使得单文档自动摘要的结果至目前为止达到普遍接受的程度。而多文档自动摘要是通过不同文档生成主要内容的综合性摘要。到目前为止，多文档自动摘要技术已经和人工智能科学与相关算法紧密结合起来，近年来更与演化算法和深度学习算法结合发展。

Yan等人将首次将深度学习用于文本摘要，输入层为词频向量，隐层由受限波尔兹曼机组成，最后由动态规划选取重要句子组成摘要。Rush使用深度学习对原文档进行概括式摘要，使用卷积网络对原文档编码，用上下文注意力前馈神经网络生成摘要。2016年Google开源了深度学习框架Tensorflow中的基于深度学习的自动文摘模块Textsum。多文档自动摘要可以根据形成摘要的语句是否源自原文而被分为抽取式摘要和抽象式摘要。抽取式摘要主要将原文档的语句进行重要性评估，再从中选取重点语句形成摘要。抽象式摘要主要从原文档中提取单词信息，然后组织单词串联语句形成摘要。

现在抽象式摘要的实现方法太复杂，机器对自然语言的理解不足，需要人工参与部分较多，发展改进比较缓慢还在起步阶段。抽取式摘要是目前常用的方法，基于图模型的文本分类中最大公共子图法与边权相似法是比较常用的相似度度量方法。也有基于文本图矩阵的左奇异值对应的特征向量为基础进行相似度度量，其本质是假设样本均值为0的PCA降维。现在常用的抽取式摘要方法主要存在句子冗余，句子衔接不畅的问题。

发明内容

针对现有技术中抽取的句子存在冗余，句子顺序混乱等不足，本发明提出一种基于句子向量的多文档摘要自动提取方法以提供准确可读性较高的文档摘要。

本发明采用的技术方案是：

基于句子向量的多文档摘要自动提取方法，包括以下步骤：

S1：对待提取摘要的文档集进行预处理；

S2：采用doc2vec模型训练生成句子向量；

S3：将句子向量聚类并将对应句子保存为各个子主题文档；

S4：在各子主题文档中建立句子关系图模型；

S5：根据步骤S4建立的关系图模型，在各子主题文档中计算句子权重；

S6：抽取句子排序形成摘要。

进一步的，S1包括以下步骤：

步骤S101：对文档集的每篇文档根据句子结束符划分句子，将划分的句子分行记录，一个句子占一行；

步骤S102：记录每个句子对应的位置；

步骤S103：将划分句子后的文档集中每篇文档内容复制到同一篇文档中进行文档集合并，合并后的文档一个句子占一行；

步骤S104：对合并后的文档中每行句子切词并去除停用词。