[发明专利]一种分布式爬虫系统及周期性增量抓取方法

说明书

本发明公开一种分布式爬虫系统，该系统被配置为基于ZooKeeper的分布式服务、系统组件和数据库三大部分，其中，系统组件包括系统监控组件Monitor、协调组件Coordinator、日志收集组件Logger、基础爬虫组件Spider，数据库包括Redis内存数据库，redis是key‑value的存储形式，Redis内存数据库中存放有分布式URL任务队列和分布式BloomFilter。本发明还公开一种基于该系统的周期性增量抓取方法，包括：协调组件Coordinator周期性导入任务到分布式URL任务队列，并唤醒正在休眠的Spider组件；Spider组件根据当前分布式URL任务队列的执行情况进行休眠或周期性增量抓取。该系统及方法解决了如何将单机爬虫有效的结合在一起，实现集群环境下高可用、高稳定和高吞吐率的分布式爬虫，并实现周期性增量抓取。

技术领域

本发明涉及互联网大数据的高效数据采集技术领域，尤其涉及一种分布式爬虫系统及周期性增量抓取方法。

背景技术

网络爬虫是从一个或若干初始网页的URL(Uniform Resource Locator，统一资源定位符)开始，获得初始网页上的URL，在抓取网页的过程中，根据不同的抓取策略，不断从当前页面上抽取新的URL放入任务队列，直到满足系统的停止条件。

随着互联网的高速发展，网络数据呈现爆炸式增长，网络数据源也越来越趋于多元化。面对如此庞大而多元化的互联网数据，如何提高网络爬虫的抓取效率，如何针对不同的数据源进行可定制化的爬取策略，显得至关重要。

相比于传统单机爬虫，分布式爬虫可以明显提高爬虫的抓取效率，但随之也引入了新的问题：分布式环境下多节点的任务下发问题、负载均衡问题、网页重复性问题和周期性增量抓取问题等。

综上所述，如何在解决分布式爬虫带来的一系列问题的同时，能够有效地提高爬虫的抓取速度，并在此基础上实现分布式爬虫的周期性增量抓取是目前现有技术中存在的主要问题。

发明内容

本发明所要解决的技术问题是，提供一种分布式爬虫系统及周期性增量抓取方法，解决如何将单机爬虫有效的结合在一起，实现集群环境下高可用、高稳定和高吞吐率的分布式爬虫，并实现周期性增量抓取。本发明解决上述问题所采用的技术方案是：

本发明公开一种分布式爬虫系统，该系统被配置为基于ZooKeeper的分布式服务、系统组件和数据库三大部分，其中，系统组件包括系统监控组件Monitor、协调组件Coordinator、日志收集组件Logger、基础爬虫组件Spider，数据库包括Redis内存数据库，redis是key-value的存储形式，Redis内存数据库中存放有分布式URL任务队列和分布式BloomFilter；其中，基于ZooKeeper的分布式服务为各系统组件提供分布式协调服务；所述系统监控组件Monitor负责系统的动态配置和系统的状态监控；所述协调组件Coordinator负责将种子URL导入到基于Redis的分布式任务队列、周期性汇总各节点状态到ZooKeeper、为日志收集组件Logger动态分配日志源和集群节点的检测与管理中的一种或多种；所述日志收集组件Logger负责从集群中各基础爬虫组件Spider收集日志数据；所述基础爬虫组件Spider负责处理网页的爬取任务；所述基于Redis的分布式URL任务队列负责存储所有待爬取的任务URL；所述基于Redis的分布式BloomFilter负责集群中所有基础爬虫组件Spider的URL去重请求。

进一步的，基于ZooKeeper的分布式服务通过与各系统组件相互协调工作，为各系统组件提供包括动态配置、集群节点检测与管理、Master选举、分布式锁、全局URL的ID生成的分布式服务中的一种或多种。