[发明专利]一种基于内容的垃圾网页检测方法及其检测装置

权利要求书

1.一种基于内容的垃圾网页检测方法，其特征在于，所述方法通过PageRank算法、与垃圾网页相似度的结合实现对垃圾网页的检测，所述方法包括以下步骤：

计算所有网页与种子垃圾网页的内容最大相似度值，生成相似度集合；

利用PageRank算法对所有网页进行降序排序；

基于排序结果，从相似度集合中查寻网页与种子垃圾网页间的内容相似度值；

比较相似度值与相似度阈值，对网页进行检测，并将检测出的垃圾网页加入到垃圾网页集合中；

所述计算所有网页与种子垃圾网页的内容最大相似度值，生成相似度集合的步骤具体为：

采用TF-IDF词频从所有网页中的关键词特征、链接数量特征，可读文本中提取出特征，然后利用向量空间模型将提取出的特征组成向量；

采用基于向量空间的余弦相似度计算所有网页与种子垃圾网页内容间的相似性，选取最大相似度值；

由最大相似度值组成相似度集合；

所述比较相似度值与相似度阈值，对网页进行检测，并将检测出的垃圾网页加入到垃圾网页集合中的步骤具体为：

若某一网页与种子垃圾网页内容的相似度值大于相似度阈值，则认定网页为垃圾网页，并将网页加入到垃圾网页集合中；

挑选若干个垃圾网页作为种子垃圾网页；设置垃圾网页集合的最大容量，重复进行查询，直至达到最大容量，流程结束。

2.一种基于内容的垃圾网页检测装置，其特征在于，所述垃圾网页检测装置包括：

生成模块，用于计算所有网页与种子垃圾网页的内容最大相似度值，生成相似度集合；

排序模块，用于利用PageRank算法对所有网页进行降序排序；

查询模块，用于基于排序结果，从相似度集合中查寻网页与种子垃圾网页间的内容相似度值；

检测模块，用于比较相似度值与相似度阈值，对网页进行检测，并将检测出的垃圾网页加入到垃圾网页集合中；

所述生成模块包括：

提取子模块，用于采用统计的方法对所有网页进行特征提取，然后利用向量空间模型将提取出的特征组成向量；

选取模块，用于采用基于向量空间的余弦相似度方法计算所有网页与种子垃圾网页内容间的相似性，选取最大相似度值；

组成模块，用于由最大相似度值组成相似度集合；

所述检测模块包括：检测子模块，用于若某一网页与种子垃圾网页内容的相似度值大于相似度阈值，则认定网页为垃圾网页，并将网页加入到垃圾网页集合中；

所述装置还包括：挑选模块，用于挑选若干个垃圾网页作为种子垃圾网页。