[发明专利]一种基于遗传算法的智能聚焦爬虫系统

说明书

本发明涉及一种基于遗传算法的智能聚焦爬虫系统，其特征在于，包括：初始化模块；主题相似性判断模块，用于确定种子URL集中各被浏览网页的网页主题，计算网页主题与用户查找主题相关性；任务模块，将主题相似性判断模块获得的网页适应度值较高的网页的链接存储到URL结果集中，并根据URL结果集生成待爬取任务；爬虫模块。本发明将智能算法应用到爬虫系统中，使爬虫系统自适应能力增强，提高爬取信息的准确度。本发明提供的智能聚焦爬虫系统弥补了传统爬虫的不足，它是一种面向特定主题的爬虫系统。智能聚焦爬虫系统能够有目的的提取互联网中用户所需要的资源。

技术领域

本发明涉及一种智能聚焦爬虫系统，属于网页搜索技术领域。

背景技术

当前信息技术正在以前所未有的速度不断发展，互联网上的信息呈指数级增长，如何在海量数据中检索出用户需要的信息变得越来越困难。因此，搜索引擎技术应运而生并在人们日常生活中起着举足轻重的作用，成为从互联网上获取信息的重要途径。通用搜索引擎在搜索信息精准度方面有一定局限性，无法满足用户对复杂资源的需求，不能适应用户个性化和多样化的需要。因此，垂直搜索引擎成为未来发展趋势。

网络爬虫则是一个自动提取网页的程序，它为搜索引擎从互联网(Internet)上下载网页，是搜索引擎的重要组成部分。传统爬虫是从一个种子URL开始爬取网页资源，存储种子网页上的所有URL地址，不可避免的提取和存储大量与主题无关的网页，使得网页搜索效率大大降低，且不能满足人们对信息精准度的要求。

发明内容

本发明的目的是：将爬虫系统与人工智能算法相结合，利用人工智能算法全面分析网页结构，在一定程度上提高了预测网页与主题相关度。

为了达到上述目的，本发明的技术方案是提供了一种基于遗传算法的智能聚焦爬虫系统，其特征在于，包括：

初始化模块，根据用户提交的查找主题在互联网上搜索起始网页集生成种子URL集，确定交叉概率P_c、遗传概率P_m、爬虫深度d以及网页适应度值的阈值；

主题相似性判断模块，用于确定种子URL集中各被浏览网页的网页主题，计算网页主题与用户查找主题相关性，并计算网页适应度值，根据将计算得到的网页适应度值与初始化模块设定的网页适应度值的阈值相比较，得到网页适应度值较高的网页；

任务模块，将主题相似性判断模块获得的网页适应度值较高的网页的链接存储到URL结果集中，并根据URL结果集生成待爬取任务

爬虫模块，利用初始化模块确定的爬虫深度d初始化后，不断从URL结果集获取任务模块生成的待爬取任务，然后发送http请求，下载指定的网页链接到本地抓取相应网页数据直到URL结果集为空时，终止整个循环。

优选地，所述主题相似性判断模块和所述爬虫模块在不同进程或线程中进行。

优选地，所述主题相似性判断模块包括：

浏览单元，用于浏览所述初始化模块中的种子URL集；

解析单元，用于对种子URL集进行解析，分别从内容重要性和链接权重方面对网页进行解析，计算所述网页适应度值。

优选地，所述解析单元分别采用PageRank算法和贝叶斯分类算法计算网页链接的权重和网页内容的重要程度。

优选地，所述主题相似性判断模块同时启用多个线程进行网页解析。

优选地，所述任务模块包括：

选择单元，用于根据所述初始化模块设置的网页适应度值的阈值从种子URL集中选择出具有较高网页适应度值的网页链接存储到URL结果集中；

交叉单元，用于选择未被存储到URL结果集中的网页链接，扩大搜索范围；