[发明专利]一种数据的采集方法、采集器、任务管理中心以及系统

说明书

本申请提供一种数据的采集方法、采集器、任务管理中心以及系统。方法包括：在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据的采集方法、采集器、任务管理中心以及系统。

背景技术

在目前的数据采集技术中，大部分的采集方式还是基于任务管理中心将采集任务分发给具体的采集通道或采集器来完成，以使采集通道或采集器执行被分发的任务，从而完成对相应数据的采集。

现有的这种数据采集方式虽然能够实现的数据采集，但采集效率不够高，无法最大限度的提高采集通道或采集器的采集效率。

发明内容

本申请实施例的目的在于提供一种数据的采集方法、采集器、任务管理中心以及系统，用以最大限度的提高采集器的采集效率。

第一方面，本申请实施例提供了一种数据的采集方法，应用于与任务管理中心连接的采集器，所述方法包括：

在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；

执行所述采集任务，采集对应的被采集对象的数据；

将所述数据发送给目标设备。

在本申请实施例中，通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。

结合第一方面，在第一种可能的实现方式中，访问任务管理中心上的任务队列，包括：

访问所述任务管理中心上任务类型与所述采集器的采集类型匹配的所述任务队列。

在本申请实施例中，通过访问任务类型与采集器的采集类型匹配的任务队列，采集器获取并执行的采集任务是符合自身处理能力的任务，以进一步提高采集器的处理效率。

结合第一方面，在第二种可能的实现方式中，确定所述采集器是否处于空闲状态的步骤，包括：

获取所述采集器当前已获取的且未执行完成的采集任务的任务数量；

判断所述任务数量是否低于预设的数量阈值，其中，低于所述数量阈值表示所述采集器处于空闲状态，而不低于所述数量阈值则表示所述采集器不处于空闲状态。

在本申请实施例中，通过判断任务数量是否低于预设的数量阈值的方式可以快速便捷确定出自身是否空闲。

结合第一方面，在第三种可能的实现方式中，所述方法还包括：

在获取到所述采集任务时，向所述任务管理中心发送任务获取指示，以使所述任务管理中心根据所述任务获取指示将所述采集任务从所述任务队列中删除。

在本申请实施例中，任务管理中心难以主动去感知采集任务被哪个采集器获取。在这种情况下，通过采集器在第一时间主动告知任务管理中心，可使得任务管理中心可以实时的调整任务队列，避免由于同一采集任务被多个采集器获取而造成的资源浪费。

结合第一方面，在第四种可能的实现方式中，所述方法还包括：