[发明专利]一种负载均衡的分布式大数据爬虫系统

说明书

技术领域

本发明涉及搜索引擎技术领域，具体地说是涉及一种负载均衡的分布式大数据爬虫系统。

背景技术

随着互联网技术的高速发展，网页信息正以指数级的速度高速膨胀，人们对于能够从互联网上准确且高效地查找出自己想要的信息提出了越来越高的要求。网络爬虫作为搜索引擎的核心组件之一，负责采集互联网上的信息。而今随着大数据时代的来临，信息爆炸式地增长，对网络爬虫的性能提出更高的要求。目前，单节点爬行器不论从 CPU 的运算能力，还是从硬盘的I/O 速率及存储容量，都难以应对大规模数据量的采集。因此，采用分布式处理技术的网络爬虫系统成为提升网络数据采集能力的必然选择。

目前，分布式爬虫系统在互联网信息采集中广泛应用，但是从负载均衡设计的角度来看，均存在不足，因而造成了系统性能的瓶颈。负载均衡问题本身与系统自身和实际需求紧密关联，没有统一的标准，因此对于不同的分布式爬虫系统而言，需根据实际的需求情况设计不同的负载均衡策略。

发明内容

本发明的目的在于提供一种负载均衡的分布式大数据爬虫系统，该系统通过管理者对网络爬虫集群进行统一管理和分布式部署，能够灵活管理爬虫任务，实现爬虫集群的负载均衡，使得爬虫工作高效、稳定。

为了实现上述目的，本发明采用的技术方案为，一种负载均衡的分布式大数据爬虫系统，包括用户管理端、服务器端、爬虫集群端和数据存储端，所述用户管理端是爬虫系统对管理者提供的Web接口，管理者通过用户管理端连接并访问Web平台，所述服务器端通过服务接口连接用户管理端，在服务器端设有爬虫负载均衡管理模块、爬虫任务调度模块、爬虫性能监控模块，所述爬虫集群端设有若干个彼此独立的网络爬虫节点，所有网络爬虫节点均通过爬行器接口连接服务器端，设置在数据存储端的存储接口通过数据总线连接爬虫集群端，数据存储端设有用于存储抓取结果文件的数据库系统。

作为本发明的一种改进， 所述用户管理端设有爬虫的任务配置文件，服务器端设有爬虫健康状态列表，所述任务配置文件中包含的信息包括网络爬虫ID、种子URL（即待抓取网页的入口）、域名和下载地址，所述爬虫健康状态列表记载的信息包括每个网络爬虫所在服务器的磁盘容量、网络爬虫执行一轮任务的运行速度。

作为本发明的一种改进， 所述爬虫负载均衡管理模块与爬虫任务调度模块和爬虫性能监控模块相连，所述爬虫负载均衡管理模块设有爬虫负载轻重判别模块，爬虫性能监控模块接收所有网络爬虫节点上报的心跳信息和运行状态信息，并根据运行状态信息定时更新爬虫健康状态列表，爬虫任务调度模块记录所有网络爬虫节点上报的任务采集信息。

作为本发明的一种改进， 所述网络爬虫节点设有任务管理模块、网页抓取模块、网页分析模块和心跳信息上报模块，任务管理模块与网页抓取模块和网页分析模块相连，网页抓取模块与网页分析模块相连，心跳信息上报模块与任务管理模块相连，任务管理模块与爬虫任务调度模块相连，心跳信息上报模块与爬虫性能监控模块相连，其中网页抓取模块采用HttpClient开源组件抓取网页，网页分析模块采用HtmlParser开源组件解析网页内容并生成抓取结果文件存储在数据库系统。

作为本发明的一种改进，所述网络爬虫节点的心跳信息和任务采集信息均包括磁盘剩余容量、本次爬虫运行时长、平均运行时长、采集的数据数量以及启动后第一次上报或任务有变动时上报的任务信息，所述运行状态信息包括磁盘剩余容量、爬虫运行速度。

作为本发明的一种改进， 所述网络爬虫节点抓取并解析网页内容所产生的抓取结果文件的格式为TXT格式和/或XML格式。

上述分布式大数据爬虫系统所采用的动态负载均衡的方法，管理者在用户管理端通过服务器端向爬虫集群端上的所有网络爬虫节点下发或回收任务，同时接收所有网络爬虫节点上报的心跳信息、运行状态信息，记录所有网络爬虫节点的任务采集信息，对所有网络爬虫节点进行实时性能监控；在接收到Web平台下发的新任务时，根据心跳信息和运行状态信息检查整个爬虫集群端上每一个网络爬虫节点的健康状态，挑选最优的网络爬虫节点执行新任务，同时根据任务采集信息和爬虫负载轻重判别模块的判别结果，重启负载较轻的网络爬虫节点程序或停止负载较重的网络爬虫节点程序，实现对网络爬虫节点的负载均衡。