[发明专利]一种数据采集系统

说明书

本申请提供了一种数据采集系统，包括：主节点、子节点、预设数量的采集子节点和合并子节点；主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务；子节点，用于分别将每个采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少被分割为一个采集子任务，得到多个采集子任务；预设数量的采集子节点，用于采用并行的方式执行采集子任务；合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件。本申请可以提高数据采集效率。

技术领域

本申请涉及电子信息领域，尤其涉及一种数据采集系统。

背景技术

对于个人客户权益系统，该系统需要每天采集客户个人权益信息，并需要将采集到的客户个人权益信息存储在数据下传平台，供其他系统订阅。

由于待采集数据表多、每个待采集数据表中的数据量大，并且需要对每个待采集数据表进行采集，需要一种具有高效率的数据采集方案。

发明内容

本申请提供了一种数据采集系统，目的在于数据采集效率低的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种数据采集系统，包括：主节点、子节点、预设数量的采集子节点和合并子节点；

所述主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务；

所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少分割为一个采集子任务，得到多个采集子任务；

所述预设数量的采集子节点，用于采用并行的方式执行所述采集子任务，得到每个采集子任务中的每个待采集数据表在相应的采集子任务下的采集数据；

所述合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件。

可选的，所述主节点，还用于在将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务之后，向消息队列中发送第一消息；所述第一消息包括：每个采集任务包含的待采集数据表的名称；

所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：

所述子节点，具体用于在监听到所述第一消息的情况下，分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务。

可选的，所述子节点，用于将任一所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：

所述子节点，具体用于判断该采集任务中的目标待采集数据表是否为分库分表的数据表；在所述目标待采集数据表为分库分表的情况下，将所述目标待采集数据表中属于同一个数据库的数据表的采集任务，作为一个采集子任务，得到多个采集子任务；所述目标待采集数据表为该采集任务中的任一待采集数据表。

可选的，所述子节点，还用于在分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务之后，向消息队列发送第二消息；所述第二消息包括：每个采集子任务分别对应的数据库编号，以及每个采集子任务中的每个待采集数据表分别在对应的数据库中的数据表名称；