[发明专利]一种基于遗传算法的智能聚焦爬虫系统

权利要求书

1.一种基于遗传算法的智能聚焦爬虫系统，其特征在于，包括：

初始化模块，根据用户提交的查找主题在互联网上搜索起始网页集生成种子URL集，确定交叉概率P_c、遗传概率P_m、爬虫深度d以及网页适应度值的阈值；

主题相似性判断模块，用于确定种子URL集中各被浏览网页的网页主题，计算网页主题与用户查找主题相关性，并计算网页适应度值，根据将计算得到的网页适应度值与初始化模块设定的网页适应度值的阈值相比较，得到网页适应度值较高的网页；

任务模块，将主题相似性判断模块获得的网页适应度值较高的网页的链接存储到URL结果集中，并根据URL结果集生成待爬取任务

爬虫模块，利用初始化模块确定的爬虫深度d初始化后，不断从URL结果集获取任务模块生成的待爬取任务，然后发送http请求，下载指定的网页链接到本地抓取相应网页数据直到URL结果集为空时，终止整个循环。

2.如权利要求1所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述主题相似性判断模块和所述爬虫模块在不同进程或线程中进行。

3.如权利要求1所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述主题相似性判断模块包括：

浏览单元，用于浏览所述初始化模块中的种子URL集；

解析单元，用于对种子URL集进行解析，分别从内容重要性和链接权重方面对网页进行解析，计算所述网页适应度值。

4.如权利要求3所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述解析单元分别采用PageRank算法和贝叶斯分类算法计算网页链接的权重和网页内容的重要程度。

5.如权利要求3所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述主题相似性判断模块同时启用多个线程进行网页解析。

6.如权利要求1所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述任务模块包括：

选择单元，用于根据所述初始化模块设置的网页适应度值的阈值从种子URL集中选择出具有较高网页适应度值的网页链接存储到URL结果集中；

交叉单元，用于选择未被存储到URL结果集中的网页链接，扩大搜索范围；

变异单元，用于重组关键关键字，选择由交叉单元获得的网页链接进行重新检索。

7.如权利要求6所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述交叉单元根据所述交叉概率P_c在已浏览的初始网站链接中提取的网站链接按主题相似度降序排列选出前m×P_c个网站链接作为所述URL结果集。

8.如权利要求1所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述任务模块采用MongoDB数据库存储所述URL结果集，同时，采用Set或者Hash Set数据结构进行保存网页链接。

9.如权利要求1所述的一种基于遗传算法的智能聚焦爬虫系统，其特征在于，所述爬虫深度d与所述URL结果集中设置的存储数量有关。