[发明专利]基于分布式架构的可视化主题网页内容爬取系统及方法

权利要求书

1.基于分布式架构的可视化主题网页内容爬取系统，其特征在于，包括可视化子系统、爬取子系统以及分布式存储索引子系统，每个子系统分若干模块。

2.根据权利要求1所述的基于分布式架构的可视化主题网页内容爬取系统，其特征在于：所述可视化子系统包括任务配置模块、前端展示模块以及登入权限控制模块；所述爬取子系统包括代理IP采集管理模块、任务调度模块、页面下载模块、页面抽取模块、数据传输模块以及任务信息统计模块；所述分布式存储索引子系统包括分布式存储模块、索引模块和计算模块。

3.一种基于分布式架构的可视化主题网页内容爬取方法，其特征在于，包括以下步骤：

1)任务初始化提交；

2)任务生成；

3)任务调度；

4)任务执行；

5)任务状态跟踪。

4.根据权利要求3所述的方法，其特征在于：所述任务初始化提交包括待爬主题网站域名，预设爬取优先级，爬取方式，爬取算法，解析规则，是否进行索引，通过登入可视化web界面，配置需要爬取的主题网站。

5.根据权利要求3所述的方法，其特征在于：所述任务生成包括利用任务过滤器判定待爬取的域名是否已经执行过，判定结果为：未执行，根据待爬取任务初始化详情设置Task对象，把任务提交给分布式任务协调器。

6.根据权利要求3所述的方法，其特征在于：所述任务调度包括任务调度中心从分布式任务协调器上取得每一个任务执行器工作负载情况，根据工作负载均衡算法，为当前待爬取任务分配一个负载较低的任务执行器，发送至对应任务执行器的待执行队列，同时任务调度中心对于爬取失败任务会放进任务失败队列进行重新调度。

7.根据权利要求3所述的方法，其特征在于：所述任务执行包括从IP采集管理器获取代理IP，设置Useragent，按照Task对象描述采用相对应的采集方法下载页面源代码，从页面解析规则库中获取页面解析规则，解析页面，解析完成后将解析的结果以及页面源代码传给数据传输模块进行存储索引，同时根据爬取算法指定的策略解析下一步待爬取目标URL，生成Task对象交给分布式任务协调器，每次爬取过程重复步任务生成步骤到任务执行步骤直到指定的网站爬取完毕。

8.根据权利要求3所述的方法，其特征在于：所述任务状态跟踪包括每一个下载任务在整个生命周期的各个的过程中都会把数据同步到数据库和分布式任务协调器，供爬取子系统动态调度资源和可视化子系统做前端数据可视化使用。

9.根据权利要求4所述的方法，其特征在于：所述爬取方式包括直接http请求爬取，模拟浏览器爬取，设置代理IP和UserAgent爬取；所述爬取算法包括深度优先爬取域名下内容，广度优先爬取域名下内容；所述解析规则包括正则表达式抽取规则，DOM树自动解析规则，基于机器视觉区块内容解析规则。

10.根据权利要求6所述的方法，其特征在于：所述负载均衡算法包括随机（random）、轮训（round-robin）和一致哈希（consistent-hash）。