[发明专利]生成文档摘要的方法和装置

说明书

本发明涉及一种生成文档摘要的方法，包括对文档集进行句子切分得到句子集合并用向量空间模型表示，根据预设的相似度阈值，确定每个句子对应的相似句及相似句数量，计算得到对应的重要性得分，依次获取句子集合中每个句子为当前处理句，将当前处理句的相似句数量与当前处理句的所有相似句各自对应的相似句数量统计比较，查找最大值并将其对应的句子加入多样性参考集合，进而计算每个句子的多样性得分和综合性得分，最终将句子集合中所有句子进行排序并筛选形成文档摘要。此外还提供一种生成文档摘要的装置。上述生成文档摘要的方法和装置，综合考虑了句子的内部信息以及在文档集合中的全局信息，从整体上降低了文档摘要的冗余度。

技术领域

本发明涉及语言文字处理领域，特别是涉及一种生成文档摘要的方法和装置。

背景技术

随着互联网技术的快速发展，计算机网络中的数据呈现出爆炸性增长的态势，严重的信息过载问题不容忽视。当浏览属于同一个主题的网页时，一些网页具有很多相同的信息，却包含比较少的不同信息，此时则需要一个概括信息的工具来快速浏览信息。因此，有必要将这些页面中的内容形成文档摘要以提高信息获取的效率。

在网络数据中，文本数据占据了很重要的一部分。文本摘要是利用计算机自动实现文本分析、内容归纳以及摘要自动生成的技术。文本摘要按照输入文本的数量可以分为单文档摘要和多文档摘要，多文档摘要是将属于同一个主题的多个文档所描述的主要信息按照一定的压缩比最终提炼出一个文本的自然语言处理技术。

然而传统的多文档摘要处理过程中，往往只将文档集中的所有句子根据预设的重要性指标特征计算对应的得分，仅仅考虑了句子的内部信息，最终导致生成的文档摘要存在冗余度过高的问题。

发明内容

基于此，有必要针对上述问题，提供一种能够降低文档摘要冗余度的生成文档摘要的方法和装置。

一种生成文档摘要的方法，所述方法包括：

对文档集进行句子切分得到所述文档集对应的句子集合，并将所述句子集合中每个句子用向量空间模型表示；

计算所述句子集合中两两句子间的相似度值，并根据预设的相似度阈值，确定所述句子集合中每个句子对应的相似句及相似句数量，并根据所述相似句数量计算得到每个句子对应的重要性得分；

依次获取所述句子集合中的每个句子作为当前处理句，将所述当前处理句的相似句数量与所述当前处理句的所有相似句各自对应的相似句数量加入同一个比较集合中，查找得到所述比较集合的最大值，并将所述比较集合的最大值对应的句子加入多样性参考集合；

根据所述句子集合和所述多样性参考集合，计算所述句子集合中每个句子的多样性得分；

根据所述重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分；

根据所述综合性得分，将所述句子集合中的所有句子进行排序并筛选形成文档摘要。

在一个实施例中，所述根据所述句子集合和所述多样性参考集合，计算所述句子集合中每个句子的多样性得分的步骤包括：

依次获取所述句子集合中的每个句子作为待处理句，如果所述待处理句在所述多样性参考集合中，则在所述句子集合中找到与所述待处理句之间具有最小相似度的第一参考句，根据所述待处理句与所述第一参考句的相似度值计算所述待处理句的多样性得分；

如果所述待处理句不在所述多样性参考集合中，则在所述多样性参考集合中找到与所述待处理句之间具有最大相似度的第二参考句，根据所述待处理句与所述第二参考句之间的相似度值计算出所述待处理句的多样性得分。

在一个实施例中，所述根据所述重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分的计算公式为：

S_S(i)＝S_D(i)*S_C(i)