[发明专利]数据调度方法、装置及电子设备

说明书

本发明公开一种数据调度方法、装置及电子设备，该方法包括：当接收到第一目标任务的圈人请求后，将第一目标任务存储在第一任务集合中；在第二任务集合中包含的任务的数量小于预设阈值的情况下，才可从第一任务集合中调取任务，并在将第二目标任务从第一任务集合中调取到第二任务集合中后，执行第二目标任务的圈人请求，将第二目标任务的状态设置为正在圈人状态，当第二目标任务的圈人请求执行完成后，将第二目标任务的状态修改为圈人完成状态，并在第二任务集合中存在处于圈人完成状态的第三目标任务时，触发第三目标任务的推送请求，并执行第三目标任务推送请求。由此保障了没有执行推送请求的任务不会被删掉，从而大大降低任务执行失败的数量。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据调度方法、装置及电子设备。

背景技术

在数据资源调度时，通过会预先将需要调度的数据写入到datahub（一种流式数据处理的技术或者平台）的项目（project）的主题（topic）中，当执行到某个调度任务后，再从datahub调取相对应的数据。假设某个调度任务包括圈人任务和推送任务，圈人任务表示圈选信息推送的对象，在圈人任务执行后将圈选的对象的信息存储到datahub的项目一个主题中，例如一个圈人任务可以对应一个主题，每个圈人任务执行完成后等待执行推送任务，当执行推送任务时，从datahub中调取圈选对象的信息，并向圈选的对象进行数据推送。

但是由于datahub的一个项目中可以存储的主题的数量是有限制的，当一个项目中包含的主题的数量超过了最大限制时，若再接收到新的调度任务后，则会删除掉最先存储的调度任务，但是该最先存储的调度任务可能还未执行推送任务，当执行到该推送任务时，无法获取到调度资源，则推送任务执行失败，由此，当前datahub的调度机制会导致大量调度任务执行失败。

发明内容

有鉴于此，本发明实施例公开的一种数据调度方法、装置及电子设备，解决了现有技术中，在资源达到上限的情况下，删除掉未执行推送请求的任务从而导致任务执行失败的问题，提高了任务执行成功的概率。

本发明实施例公开了一种数据调度方法，包括：

当接收到第一目标任务的圈人请求后，将所述第一目标任务存储在第一任务集合中；

当检测到第二任务集合中包含的任务的数量小于预设的阈值的情况下，从所述第一任务集合中调取第二目标任务；所述第二目标任务为所述第一任务集合中满足预设条件的任务；所述预设的阈值小于或者等于datahub的项目中能够存储的主题的数量的最大上限值；

执行所述第二目标任务的圈人请求，将所述第二目标任务的状态设置为正在圈人状态，并在所述第二目标任务的圈人请求执行完成后，将所述第二目标任务从正在圈人状态修改为圈人完成状态；

当所述第二任务集合中存在处于圈人完成状态的第三目标任务时，触发所述第三目标任务的推送请求，并执行所述第三目标任务的推送请求。

可选的，所述当接收到第一目标任务的圈人请求后，将所述第一目标任务存储在第一任务集合中，包括：

当接收到第一目标任务的圈人请求后，根据接收到所述第一目标任务的圈人请求的时间，设置所述第一目标任务的优先级；接收到第一目标任务的圈人请求的时间越早，则所述第一目标任务的优先级越高；

将所述第一目标任务存储在所述第一任务集合中。

可选的，所述预设的调取条件为所述第一任务集合中优先级最高的任务。

可选的，数据调度方法还包括：

所述第二目标任务处于圈人完成状态时，触发所述第二目标任务的推送请求，并执行所述第二目标任务的推送请求；当所述第二目标任务的推送请求执行完成后，从所述第二任务集合中删除所述第二目标任务。

可选的，所述执行所述第三目标任务的推送请求，包括：