[发明专利]分布式数据系统的数据采集方法及分布式数据系统

摘要

本发明涉及分布式数据系统的数据采集方法及分布式数据系统，该系统包括多个数据中心和远程终端，数据中心包括管理数据中心和辅助数据中心，该数据采集方法包括：管理数据中心将数据采集任务平均分配给各个辅助数据中心执行；管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；管理数据中心根据参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载。本发明加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。

主权项

1.一种分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，将最早启动数据采集进程的数据中心作为管理数据中心，分布式数据系统中其它数据中心作为辅助数据中心；该分布式数据系统的数据采集方法包括：管理数据中心将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心；极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷，管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值；若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心，以均衡各辅助数据中心的硬件负载。