[发明专利]一种基于内容的垃圾网页检测方法及其检测装置

说明书

本发明公开了一种基于内容的垃圾网页检测方法及其检测装置，方法包括：计算所有网页与种子垃圾网页的内容最大相似度值，生成相似度集合；利用PageRank算法对所有网页进行降序排序；基于排序结果，从相似度集合中查寻网页与种子垃圾网页间的内容相似度值；比较相似度值与相似度阈值，对网页进行检测，并将检测出的垃圾网页加入到垃圾网页集合中。装置包括：生成模块、排序模块、查询模块和检测模块，通过这些模块，本发明在传统的PageRank算法基础上加入对网页内容相似度的判定，把网页的链接与内容结合起来，对垃圾网页进行检测，以此提高了垃圾网页检测的准确度和效率。

技术领域

本发明涉及数据挖掘、文本挖掘和搜索引擎领域，尤其涉及一种基于内容的垃圾网页检测方法及其检测装置。

背景技术

页面排序算法可用于对垃圾网页的检测。其中的网页等级(PageRank)是Google用于标识网页的等级/重要性的一种方法，是Google用来衡量一个网站好坏的唯一标准。

PageRank的计算基于以下两个基本假设：

数量假设：在网络图模型中，如果一个页面节点接收到的其他网页指向的入链数量越多，那么这个页面越重要。

质量假设：指向页面A的入链质量不同，质量高的页面会通过链接向其他页面传递更多的权重。所以越是质量高的页面指向页面A，则页面A越重要。

所以PageRank实现了将链接价值概念作为网页排名的因素。

PageRank的计算步骤可分为如下两个：

在初始阶段：网页通过链接关系构建起网络图，每个页面设置相同的PageRank值，通过若干轮的计算，会得到每个页面所获得的最终PageRank值。随着每一轮的计算进行，网页当前的PageRank值会不断得到更新。

在一轮中更新页面PageRank得分的计算方法：在一轮更新页面PageRank得分的计算中，每个页面将其当前的PageRank值平均分配到本页面包含的出链上，这样每个链接即获得了相应的权值。而每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。当每个页面都获得了更新后的PageRank值，就完成了一轮PageRank计算。

PageRank的缺陷在于它单纯地根据一个网页上被链接的站点数量和质量来给该网页分配一个绝对的“重要性”值。即若一个网页的链入网页数越多且其等级越高，则传递给此网页的页面等级值也将会越高。由此可以看出，PageRank算法只考虑了网页之间的链接而忽略了网页的内容与主题间的相关性，所以即使一个网页的内容与主题的相关性较低，也会因为此网页的PageRank值较大而获得较高的排名，从而影响了搜索结果的相关性与准确性。

发明内容

本发明提供了一种基于内容的垃圾网页检测方法及其检测装置，本发明能够有效克服PageRank算法在检测垃圾网页时只考虑研究垃圾网页之间链接的关系，忽略了网页内容关系的问题，详见下文描述：

一种基于内容的垃圾网页检测方法，所述垃圾网页检测方法包括以下步骤：

计算所有网页与种子垃圾网页的内容最大相似度值，生成相似度集合；

利用PageRank算法对所有网页进行降序排序；

基于排序结果，从相似度集合中查寻网页与种子垃圾网页间的内容相似度值；

比较相似度值与相似度阈值，对网页进行检测，并将检测出的垃圾网页加入到垃圾网页集合中。

其中，所述计算所有网页与种子垃圾网页的内容最大相似度值，生成相似度集合的步骤具体为：

采用统计的方法对所有网页进行特征提取，然后利用向量空间模型将提取出的特征组成向量；