[发明专利]一种针对海量文本快速理解的文摘方法

摘要

本发明公开了一种针对海量文本快速理解的文摘方法，所述方法包括：获取文本内容；对文本进行分词、指代消除、去除冗余信息、划分分析单元等预处理操作；使用主题模型对文本内容进行主题分析得到文本中主题分布；依据分析单位间的主题关联关系构建图模型，并计算图模型中每条有向边的权重；使用贡献迭代方法计算图模型直到收敛，根据需求生成合适篇幅的文本摘要。通过本发明实现的文本摘要方法，能够对海量非结构化文本数据进行自动化分析，得到能够全面覆盖核心主题的文本摘要作为海量原始数据的替代，从而实现快速理解的目的。

主权项

一种针对海量文本快速理解的文摘方法，其特征在于，包括下列步骤：步骤1：获取待分析的文本组成的文本集合；步骤2：对文本集合的语料进行分词、指代消解、冗余信息去除和基本单元划分，得到预处理后的语料库；步骤3：计算预处理后的语料库中各句子的基本特征的权值，所述基本特征包括TF‑IDF值、句子位置信息与句子长度信息；综合预处理后的语料库中各句子的基本特征的权值，得到各句子的初始权值；步骤4：对预处理后的语料库进行LDA模型训练，通过Gibbs采样过程估计文本集合中所有词语的主题概率分布；步骤5：利用步骤4估计到的词语的主题概率分布计算句子的主题概率分布；步骤6：构建图模型，使用预处理后的文本集合中各句子作为节点，依据各句子的主题概率分布来建立句子之间的关联,生成图模型的加权边，利用句子的主题概率分布计算句子与句子主题分布相对熵，将句子与句子主题分布相对熵作为图模型的加权边的权值，将各句子的初始权值作为各句子在图模型中对应节点的初始权值；步骤7：基于步骤6构建的图模型使用迭代贡献权值的方法计算每个句子的最终权值，根据每个节点的最终权值从大到小进行排序，根据句子排序的结果选择权值较高句子组合生成文摘。