[发明专利]一种基于消息中间件的数据采集系统、方法及装置

说明书

本申请公开了一种基于消息中间件的数据采集系统，包括主节点、消息中间件、多个子节点和数据库，其中，主节点用于获取数据源URL列表，并将数据源URL列表中的URL通过消息中间件分发给各个子节点；子节点基于Scrapy采集框架实现，用于根据接收到的URL进行数据采集，并将数据采集结果通过数据库连接池存储至数据库。可见，该系统通过对Scrapy采集框架进行扩展，实现了一种高效的分布式环境下的数据采集方案，且各个节点和消息中间件稳定性较高，能够保证整个数据采集系统的可靠性。此外，本申请还提供了一种基于消息中间件的数据采集方法及装置，其技术效果与上述系统相对应。

技术领域

本申请涉及计算机技术领域，特别涉及一种基于消息中间件的数据采集系统、方法及装置。

背景技术

随着互联网技术的发展，数据激增，在分布式环境下，数据监控是十分有必要的。数据监控的前提是数据采集，然而，目前在分布式环境中缺少可靠的数据采集方案，为数据监控的实施带来困难。

发明内容

本申请的目的是提供一种基于消息中间件的数据采集系统、方法及装置，用以解决目前在分布式环境中缺少可靠的数据采集方案的问题。其具体方案如下：

第一方面，本申请提供了一种基于消息中间件的数据采集系统，包括：主节点、消息中间件、多个子节点和数据库；

其中，所述主节点用于获取数据源URL列表，并将所述数据源URL列表中的URL通过所述消息中间件分发给各个所述子节点；

所述子节点基于Scrapy采集框架实现，用于根据接收到的URL进行数据采集，并将数据采集结果通过数据库连接池存储至所述数据库。

优选的，所述子节点用于：

根据接收到的URL对目标页面进行解析，得到数据采集结果，其中所述目标页面为以下任意类型：xpath，css，lxml。

优选的，所述子节点用于：

根据接收到的URL进行数据采集，将采集得到的数据存储至缓存中；在所述缓存中的数据满足目标条件时，将所述缓存中的数据作为数据采集结果通过数据库连接池存储至所述数据库，其中所述目标条件为数据量大于第一阈值或数据抓取深度大于第二阈值。

优选的，所述子节点用于：

每隔预设时间间隔根据接收到的URL进行数据采集。

优选的，所述子节点还用于：

根据所述数据采集结果的数据类型对所述数据采集结果进行数据清洗。

优选的，所述消息中间件为rabbitMQ。

优选的，所述数据库连接池用于：

在接收到所述子节点发送的数据采集结果之后，判断所述数据采集结果是否为重复数据，若不是，则将所述数据采集结果存储至所述数据库。

优选的，所述数据库连接池用于：

在接收到所述子节点发送的数据采集结果之后，计算所述数据采集结果的MD5值，将所述数据采集结果的MD5值与所述数据库中每条数据的MD5值做对此，若相同，则判定所述数据采集结果为重复数据，否则判定所述数据采集结果不为重复数据。

第二方面，本申请提供了一种基于消息中间件的数据采集方法，包括：

主节点获取数据源URL列表；

所述主节点将所述数据源URL列表中的URL通过消息中间件分发给多个子节点，所述子节点基于Scrapy采集框架实现；

所述子节点根据接收到的URL进行数据采集；

所述子节点将数据采集结果通过数据库连接池存储至数据库。