[发明专利]基于事件驱动模型的分布式互联网数据采集系统与方法

权利要求书

1.一种基于事件驱动模型的分布式互联网数据采集系统，其特征在于，包括控制台模块、数据采集引擎模块、数据存储模块、日志服务模块；

所述系统运行在容器编排引擎之上；

所述控制台模块对数据采集和数据存储进行配置；

所述数据采集引擎模块根据所述控制台模块的配置完成所述数据采集；

所述数据存储模块与所述数据采集引擎模块连接，根据所述控制台模块的配置完成所述数据存储；

所述控制台模块、所述数据采集引擎模块、所述数据存储模块和所述日志服务模块都各包含一项或多项服务；

所述服务互相解耦，以独立Docker镜像的形式部署于所述容器编排引擎之上；

所述服务之间通过事件的形式进行传递；

所述数据采集引擎模块包括调度组件、下载解析组件和数据校验组件；所述调度组件与所述下载解析组件配合完成所述数据采集；所述下载解析组件与所述数据校验组件配合对所述数据采集进行校验；

所述调度组件包括爬虫调度服务和链接调度服务；在所述爬虫调度服务和所述链接调度服务之间设有调度事件消息队列；所述链接调度服务还连接抓取事件消息队列；在所述调度事件消息队列与所述链接调度服务之间还设有抓取任务缓冲队列；

所述下载解析组件包括下载服务、解析服务；所述下载解析组件封装PycURL、splash、Chrome Headless，并提供统一接口；所述下载服务连接所述抓取事件消息队列，根据从所述抓取事件消息队列中获取的数据下载事件下载原始网页；所述解析服务连接所述下载服务，对所述原始网页进行解析获取目标数据；所述下载解析组件还包括代理服务、下载辅助服务。

2.如权利要求1所述的基于事件驱动模型的分布式互联网数据采集系统，其特征在于，所述数据校验组件包括数据校验服务；所述数据校验服务连接所述解析服务，对所述目标数据进行校验。

3.如权利要求2所述的基于事件驱动模型的分布式互联网数据采集系统，其特征在于，所述控制台模块包括控制台和爬虫状态服务及配置服务；所述控制台分为控制台前端页面和控制台后端；所述控制台前端页面提供可视化的控制台面板，可以对所述数据采集的整个生命周期进行配置和管理，包括数据采集周期、数据采集网页范围、网页下载配置、网页抽取配置、项目管理；所述控制台后端采用Flask、Django、Pylons、Tornado或Bottle中的一种或多种框架；所述爬虫状态服务及配置服务与所述爬虫调度服务连接。

4.如权利要求2所述的基于事件驱动模型的分布式互联网数据采集系统，其特征在于，所述数据存储模块包括数据存储服务；所述数据存储服务与所述解析服务连接；所述数据存储服务连接数据库；所述数据库支持MySQL、MongoDB和对象存储服务。

5.如权利要求4所述的基于事件驱动模型的分布式互联网数据采集系统，其特征在于，在所述数据存储服务与所述解析服务之间还设置有抓取完成事件队列。

6.如权利要求5所述的基于事件驱动模型的分布式互联网数据采集系统，其特征在于，所述调度事件消息队列、所述抓取事件消息队列、所述抓取完成事件队列采用RabbitMQ、ZeroMQ、RocketMQ或ActiveMQ中的一种或多种；所述调度事件消息队列、所述抓取事件消息队列、所述抓取完成事件队列采用Kafka。

7.如权利要求1所述的基于事件驱动模型的分布式互联网数据采集系统，其特征在于，所述容器编排引擎为kubernetes、docker swarm、Marathon、Apache Mesos或Nomad中的一种。

8.如权利要求1所述的基于事件驱动模型的分布式互联网数据采集系统，其特征在于，所述抓取任务缓冲队列采用Redis、MongoDB、或Pika中的一种或多种。