[发明专利]一种基于阈值去噪的TextRank文档摘要方法及装置

说明书

本发明公开了一种基于阈值去噪的TextRank文档摘要方法，包括以下步骤：根据获取到的第一文档语句构建第一图模型；通过TextRank算法对所有第一文档语句的进行迭代计算以得每条第一文档语句对应的第一TR值将所有的第一TR值与预设阈值进行大小比对，并将所有小于预设阈值的第一TR值对应的第一文档语句从第一图模型中除去以得第二图模型；并选取若干条第二TR值最高的第二文档语句以形成文档摘要。本发明还提供了一种基于阈值去噪的TextRank文档摘要装置。本发明的基于阈值去噪的TextRank文档摘要的方法能够有效的排除文档中的干扰项，提高权重值的分配准确度，从而提高所生成的摘要的质量。

技术领域

本发明涉及一种数据挖掘技术领域，尤其涉及一种基于阈值去噪的TextRank文档摘要方法及装置。

背景技术

现今时代互联网发展迅速，信息急剧膨胀，充斥着人们的生活，带来了极大的便利，人们足不出户便可以了解时事，查找自己所需要的资源和信息。但与此同时，面对新闻网站上纷乱繁杂的原始新闻，为了能够跟上信息更新的速度，将新闻事件报道进行汇总精简、提炼出其中的关键信息，满足快速获取知识的要求成为一个亟待解决的问题。为了解决这一问题，文档自动摘要方法伴随需求而得到发展。近年来，基于图的排序算法已经被应用到文档摘要中，其中应用最为广泛的是Mihalcea和Tarau提出的TextRank模型，它是基于图的摘要模型，其涉及到的背景知识如下：

1.PageRank

PageRank(网页排名)利用网页的链接结构构建Web图模型，从客观上评估网页的相对重要性，有效地衡量用户对网页的兴趣和关注程度。它的基本思想是，一个网页的重要程度取决于链接到该网页的网页数量以及这些网页的重要程度。PageRank应用了两个假设：数量假设和质量假设。数量假设是指在Web图模型中，一个网页所拥有的指向自己的其他网页的数量越多，则该网页的重要程度越高；质量假设是指质量或重要程度越高的网页指向某个网页时，被指向的网页重要程度越高。

PageRank采用投票或推荐机制，即每一个网页会将自己的PR值平均地分配给自己所指向的网页。令G＝(V,E)表示由顶点集合V和边集合E组成的图，V中每个顶点表示一个网页，网页V_i指向网页V_j通过E中以顶点V_i为起点、V_j为终点的边来表示；In(V_i)表示以顶点V_i为终点的入边集合，Out(V_i)表示以顶点V_i为起点的出边集合。网页V_i的重要程度定义如下：

其中|Out(V_j)|表示顶点V_j的出度。

以一个例子来说明以上定义。如图1所示，其中PR值为100的网页指向了PR值为53和50的两个网页，则它会将自己的PR值平均分配给这两个网页，而这两个网页又会将自己的PR值平均分配给它们各自所指向的网页，这是一个反复迭代的过程，最终网页的PR值会趋向于正常和稳定。如图2所示，经过反复迭代后，网页的PR值已经收敛。

上述公式存在一个问题：在现实情况中，存在着一些网页，它们彼此互相链接，而没有指向其他网页的链接，这就会导致链接只在一个集合内部旋转，而不指向外界的现象，如图3所示。这种封闭的情况称为Rank Sink。因此，需要进行修正。实际上，用户在浏览网页时，如果他发现一直在同样的几个网页中徘徊时，那么他会离开当前页面，重新打开一个新的网页；用户也不会一直都顺着当前页面的链接前进，也可能会跳跃到完全无关的页面里。基于这一思想，PageRank在上述公式的基础上加入了阻尼系数(damping factor)α，得到如下公式：