[发明专利]一种负载均衡的分布式大数据爬虫系统

权利要求书

1.一种负载均衡的分布式大数据爬虫系统，其特征在于：包括用户管理端、服务器端、爬虫集群端和数据存储端，所述用户管理端是爬虫系统对管理者提供的Web接口，管理者通过用户管理端连接并访问Web平台，所述服务器端通过服务接口连接用户管理端，在服务器端设有爬虫负载均衡管理模块、爬虫任务调度模块、爬虫性能监控模块，所述爬虫集群端设有若干个彼此独立的网络爬虫节点，所有网络爬虫节点均通过爬行器接口连接服务器端，设置在数据存储端的存储接口通过数据总线连接爬虫集群端，数据存储端设有用于存储抓取结果文件的数据库系统。

2.如权利要求1所述的一种负载均衡的分布式大数据爬虫系统，其特征在于，所述用户管理端设有爬虫的任务配置文件，服务器端设有爬虫健康状态列表，所述任务配置文件中包含的信息包括网络爬虫ID、种子URL、域名和下载地址，所述爬虫健康状态列表记载的信息包括每个网络爬虫所在服务器的磁盘容量、网络爬虫执行一轮任务的运行速度。

3.如权利要求2所述的一种负载均衡的分布式大数据爬虫系统，其特征在于，所述爬虫负载均衡管理模块与爬虫任务调度模块和爬虫性能监控模块相连，所述爬虫负载均衡管理模块设有爬虫负载轻重判别模块，爬虫性能监控模块接收所有网络爬虫节点上报的心跳信息和运行状态信息，并根据运行状态信息定时更新爬虫健康状态列表，爬虫任务调度模块记录所有网络爬虫节点上报的任务采集信息。

4.如权利要求3所述的一种负载均衡的分布式大数据爬虫系统，其特征在于，所述网络爬虫节点设有任务管理模块、网页抓取模块、网页分析模块和心跳信息上报模块，任务管理模块与网页抓取模块和网页分析模块相连，网页抓取模块与网页分析模块相连，心跳信息上报模块与任务管理模块相连，任务管理模块与爬虫任务调度模块相连，心跳信息上报模块与爬虫性能监控模块相连，其中网页抓取模块采用HttpClient开源组件抓取网页，网页分析模块采用HtmlParser开源组件解析网页内容并生成抓取结果文件存储在数据库系统。

5.如权利要求4所述的一种负载均衡的分布式大数据爬虫系统，其特征在于，所述网络爬虫节点的心跳信息和任务采集信息均包括磁盘剩余容量、本次爬虫运行时长、平均运行时长、采集的数据数量以及启动后第一次上报或任务有变动时上报的任务信息，所述运行状态信息包括磁盘剩余容量、爬虫运行速度。

6.如权利要求5所述的一种负载均衡的分布式大数据爬虫系统，其特征在于，所述网络爬虫节点抓取并解析网页内容所产生的抓取结果文件的格式为TXT格式和/或XML格式。

7.如权利要求-1-6任一项所述的一种负载均衡的分布式大数据爬虫系统所采用的动态负载均衡的方法，其特征在于，管理者在用户管理端通过服务器端向爬虫集群端上的所有网络爬虫节点下发或回收任务，同时接收所有网络爬虫节点上报的心跳信息、运行状态信息，记录所有网络爬虫节点的任务采集信息，对所有网络爬虫节点进行实时性能监控；在接收到Web平台下发的新任务时，根据心跳信息和运行状态信息检查整个爬虫集群端上每一个网络爬虫节点的健康状态，挑选最优的网络爬虫节点执行新任务，同时根据任务采集信息和爬虫负载轻重判别模块的判别结果，重启负载较轻的网络爬虫节点程序或停止负载较重的网络爬虫节点程序，实现对网络爬虫节点的负载均衡。

8.如权利要求7所述的方法，其特征在于，管理者通过用户管理端接收到Web平台下发的新任务时，一方面管理者可直接在用户管理端将新任务写入具体某个网络爬虫节点的任务配置文件中，另一方面管理者可根据服务器端设置的爬虫健康状态列表所记录的所有网络爬虫节点的健康状态信息，从中挑选最优网络爬虫节点并对应更改该网络爬虫节点的任务配置文件，对应的网络爬虫节点接收到新任务后，自动加载该任务，而无需管理者重启爬虫程序。

9.如权利要求8所述的方法，其特征在于，Web平台根据不同的网页结构和主题内容，对待爬取的目标内容进行细粒度切分，并根据切分后的内容分别建立各爬取任务，所述切分后的内容之间无关联性，各爬取任务之间也无关联性，每一爬取任务通过一独立线程完成，所述爬虫任务调度模块根据心跳信息和运行状态信息可将各爬取任务分配给同一个网络爬虫节点执行，也可将各爬取任务分配给不同的网络爬虫节点执行。

10.如权利要求9所述的方法，其特征在于，挑选最优网络爬虫节点的具体实现方法是：比较每个网络爬虫节点的剩余磁盘容量、本次爬虫运行时长和平均时长，从中选取剩余磁盘容量大、本次爬虫运行时长和平均时长差别小的网络爬虫节点作为最优的网络爬虫节点；检查整个爬虫集群端上每一个网络爬虫节点的健康状态的具体实现方法是：设定剩余磁盘容量、本次爬虫运行时长和平均时长分别作为健康状态指标，并在同一种健康状态指标下，比较心跳信息中的非健康状态指标的信息。