[发明专利]一种基于消息中间件的数据采集系统、方法及装置

权利要求书

1.一种基于消息中间件的数据采集系统，其特征在于，包括：主节点、消息中间件、多个子节点和数据库；

其中，所述主节点用于获取数据源URL列表，并将所述数据源URL列表中的URL通过所述消息中间件分发给各个所述子节点；

所述子节点基于Scrapy采集框架实现，用于根据接收到的URL进行数据采集，并将数据采集结果通过数据库连接池存储至所述数据库。

2.如权利要求1所述的基于消息中间件的数据采集系统，其特征在于，所述子节点用于：

根据接收到的URL对目标页面进行解析，得到数据采集结果，其中所述目标页面为以下任意类型：xpath，css，lxml。

3.如权利要求2所述的基于消息中间件的数据采集系统，其特征在于，所述子节点用于：

根据接收到的URL进行数据采集，将采集得到的数据存储至缓存中；在所述缓存中的数据满足目标条件时，将所述缓存中的数据作为数据采集结果通过数据库连接池存储至所述数据库，其中所述目标条件为数据量大于第一阈值或数据抓取深度大于第二阈值。

4.如权利要求3所述的基于消息中间件的数据采集系统，其特征在于，所述子节点用于：

每隔预设时间间隔根据接收到的URL进行数据采集。

5.如权利要求4所述的基于消息中间件的数据采集系统，其特征在于，所述子节点还用于：

根据所述数据采集结果的数据类型对所述数据采集结果进行数据清洗。

6.如权利要求1所述的基于消息中间件的数据采集系统，其特征在于，所述消息中间件为rabbitMQ。

7.如权利要求1-6任意一项所述的基于消息中间件的数据采集系统，其特征在于，所述数据库连接池用于：

在接收到所述子节点发送的数据采集结果之后，判断所述数据采集结果是否为重复数据，若不是，则将所述数据采集结果存储至所述数据库。

8.如权利要求7所述的基于消息中间件的数据采集系统，其特征在于，所述数据库连接池用于：

在接收到所述子节点发送的数据采集结果之后，计算所述数据采集结果的MD5值，将所述数据采集结果的MD5值与所述数据库中每条数据的MD5值做对此，若相同，则判定所述数据采集结果为重复数据，否则判定所述数据采集结果不为重复数据。

9.一种基于消息中间件的数据采集方法，其特征在于，包括：

主节点获取数据源URL列表；

所述主节点将所述数据源URL列表中的URL通过消息中间件分发给多个子节点，所述子节点基于Scrapy采集框架实现；

所述子节点根据接收到的URL进行数据采集；

所述子节点将数据采集结果通过数据库连接池存储至数据库。

10.一种基于消息中间件的数据采集装置，其特征在于，包括：

列表获取模块：用于主节点获取数据源URL列表；

URL分发模块：用于所述主节点将所述数据源URL列表中的URL通过消息中间件分发给多个子节点，所述子节点基于Scrapy采集框架实现；

数据采集模块：用于所述子节点根据接收到的URL进行数据采集；

数据存储模块：用于所述子节点将数据采集结果通过数据库连接池存储至数据库。