[发明专利]一种分布式部署的网络数据采集系统

说明书

本发明公开了一种分布式部署的网络数据采集系统，包括任务管理模块、爬虫模块、分布式存储模块、监测报警模块和主控节点模块；其中，所述任务管理模块负责存储URL库、维护网页采集任务状态、管理采集任务的进队与出队、URL种子定时调度、缓存已采集URL和商品SKU；所述爬虫模块用于完成采集和解析网页，以两个以上独立的实例进程分布到不同节点机器上运行，以多线程的模式采集并解析网页；所述监测报警模块能够主动发现爬虫节点宕机的情况，并通知系统运维人员。

技术领域

本发明涉及计算机互联网数据采集技术，尤其涉及一种分布式部署的网络数据采集系统。

背景技术

自动获取网页内容，解析网页链接，并按照指定规则提取相应数据的程序，就是爬虫。

传统的爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，同时按照给定规则提取网页上的有用数据，在抓取网页的过程中，不断从当前页面上抽取新的URL并放入队列，直到满足系统给定的停止条件。

随着互联网在人类经济社会中的应用日益广泛，其所涵盖的信息规模呈指数增长，信息的形式和分布具有多样化、全球化特征，通用爬虫已经不适用于指定方向的海量数据持续采集的需求，传统的通用爬虫存在一些不足：

1、通用爬虫采集全站数据，不能指定领域定向采集；

2、传统爬虫只单机采集数据，采集速度慢；

3、传统爬虫采集回来的数据存储在单节点的关系型数据库，数据量小。

发明内容

本发明所要解决的技术问题是建立爬虫集群，分布式部署，持续并且并行地采集网络定向数据，以分布式存储系统组织海量数据，提供数据服务的系统。

为解决上述技术问题，本发明提供了一种分布式部署的网络数据采集系统，包括任务管理模块、爬虫模块、分布式存储模块、监测报警模块和主控节点模块；

其中，所述任务管理模块负责存储URL库、维护网页采集任务状态、管理采集任务的进队与出队、URL种子定时调度、缓存已采集URL和所采集特定商品的SKU(Stock KeepingUnit，库存量单位)，特定商品是指电商平台的商品或者品牌官方网站的商品，例如：家电、厨具、3c数码、酒水、等，具体在URL种子中设定；

所述爬虫模块用于完成采集和解析网页，并以两个以上独立的实例进程分布到不同节点机器上运行，以多线程的模式采集并解析网页；

所述监测报警模块能够主动发现爬虫进程宕机的情况，并通知系统运维人员。

所述任务管理模块包括任务状态库、任务管理器和URL种子定时器；

所述爬虫模块包括动态IP代理器、网页下载器、网页解析器和日志记录器；

所述分布式存储模块包括数据存储器、Kudu存储引擎和Impala查询引擎；

所述监测报警模块包括监控报警器、Zookeeper注册器和Zookeeper服务器；

所述主控节点模块包括RPC通信、速度控制、任务队列管理和爬虫启停。

所述任务状态库用于任务状态存储，以及URL和商品SKU缓存，任务状态库存储任务状态信息到MySQL数据库中，利用MySQL的行级事务确保单个任务的原子性操作；