[发明专利]一种数据采集方法、装置和系统

摘要

本发明实施例公开了一种数据采集方法、装置和系统，数据采集系统中包括主节点，多个子节点，以及数据库，主节点可以根据数据采集任务生成多个子任务，由于具有与主节点和多个子节点均相连的数据库，故主节点并不需要与子节点建立连接以便实时监控各个子节点的负载情况，而可以只需将生成的子任务以及数据采集任务对应的待采集目标队列保存到与子节点相连的该数据库中，子节点可以主动从该数据库中获取未处理的子任务进行处理，可见通过设置的数据库，解除了主节点和子节点之间的耦合，主节点不再需要消耗额外的系统资源来监控各个子节点的负载状态以及维护连接，降低了主节点的负担。

主权项

1.一种数据采集方法，其特征在于，应用于数据采集系统，所述数据采集系统包括主节点，多个子节点，以及数据库，所述主节点和所述多个子节点均与所述数据库通信连接，所述方法包括：所述主节点根据数据采集任务生成多个子任务；所述主节点将所述多个子任务以及所述数据采集任务对应的待采集目标队列存储至所述数据库中，以便所述多个子节点从所述数据库获取子任务及其对应的目标对象进行数据采集；其中，所述待采集目标队列中记录有待采集数据对应的目标对象。