[发明专利]基于事件驱动模型的分布式互联网数据采集系统与方法

说明书

本发明公开了一种基于事件驱动模型的分布式互联网数据采集系统及方法，涉及网络搜索技术领域，系统包括控制台模块、数据采集引擎模块、数据存储模块、日志服务模块，并运行在容器编排引擎之上；控制台模块对数据采集和数据存储进行配置；数据采集引擎模块根据控制台模块的配置完成数据采集；数据存储模块与数据采集引擎模块连接，根据控制台模块的配置完成数据存储；控制台模块、数据采集引擎模块、数据存储模块和日志服务模块都各包含一项或多项服务；服务互相解耦，以独立Docker镜像的形式部署于容器编排引擎之上。本发明具备快速地动态扩容和缩容的能力，支持日采集TB量级别海量数据的需求，并支持同时对上千种不同来源的网站进行数据采集。

技术领域

本发明涉及网络搜索技术领域，尤其涉及一种基于事件驱动模型的分布式互联网数据采集系统与方法。

背景技术

现代信息技术的高速发展使得互联网上所容纳的数据和信息呈现爆炸式增长。近年来，大数据的提出和应用使得人们进一步认识到互联网数据的重要价值。互联网数据越来越被视作数字石油，可以给政府、金融机构、银行、传统企业等机构提供底层的信息驱动力。因此，对于分散在互联网各处的信息，需要专业的互联网数据采集技术(又被称为网络爬虫)对这些海量数据进行及时、大规模的采集。

互联网上的数据类型丰富，呈现形式也千差万别。传统的爬虫技术一般是针对每一个的网站编写特定的采集脚本，这导致采集成本很高，很难实现真正意义的大规模数据采集。而对于用于搜索引擎的爬虫系统，虽然具有很好的通用性，但是这类系统为了采集的通用性，往往采集精度很低、解析能力较弱，对很多网站常常是蜻蜓点水，丢失了大量有价值的信息。这一特性已经无法满足金融、银行等机构对于高精细化数据的需求。

火车采集器(如图1所示)是基于Windows平台的客户端软件，用户可通过软件界面配置目标网站的采集规则和采集计划，并支持将数据保存和发布到Mysql/Oracle等数据库中。但该技术方案存在以下缺陷：

1、火车采集器为客户端软件，因此不适合进行分布式部署；

2、火车采集器的性能受到客户端所在的物理机器的性能限制；

3、综合上述1、2两点，火车采集器系统不能满足实时大规模数据采集的需求。

神箭手数据采集系统(如图2所示)是一个分布式的爬虫系统，用户编写代码进行数据采集的相关配置，包括目标网站入口、抽取规则、数据存储、数据发布等。但该技术方案存在以下缺陷：

1、虽然为分布式爬虫系统，但在系统需要扩容时，需要单独在新增的节点机器上专门布置神箭手采集系统，并进行配置，因此，系统扩容成本较高，也较繁琐；

2、没有快速缩容机制；

3、各个机器节点相对独立，运维压力较高；

4、不支持可视化用户界面，对于使用人员的技术要求较高。

Django Dynamic Scraper(如图3所示)是基于Scrapy和Django的开源数据爬虫技术方案，可通过Django后台对爬虫项目进行规则配置。

但该技术方案存在以下缺陷：

1、只适宜编写小规模的爬虫项目，在面对大规模抓取任务时，需要从系统底层调整代码逻辑；

2、主要提供代码的执行管理，缺乏分布式调度的支持；

3、不支持可视化用户界面，对于使用人员的技术要求较高。

综上，本领域的技术人员致力于开发一种兼容多种网站数据类型的大规模数据采集系统与方法来解决上述问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是：