[发明专利]分布式任务调度方法、系统、电子设备和存储介质

权利要求书

1.一种分布式任务调度方法，其特征在于，所述方法应用在主节点，所述方法包括：

确定数据任务中待分配的子任务；

向协调节点发送任务查询指令，所述任务查询指令用于指示所述协调节点反馈各执行节点的任务执行信息；

根据各所述执行节点的任务执行信息，确定各所述执行节点的目标优先级；

根据各所述执行节点的目标优先级，确定各所述子任务对应的目标执行节点，将各所述子任务分配至所述各所述子任务对应的目标执行节点进行数据处理。

2.如权利要求1所述的分布式任务调度方法，其特征在于，所述确定数据任务中待分配的子任务包括：

向所述协调节点发送节点查询指令，所述节点查询指令用于指示所述协调节点反馈当前处于执行状态的执行节点的数量；

若所述数量发生变化，则向各所述执行节点发送任务停止指令，所述任务停止指令用于指示所述执行节点停止处理已分配的子任务；

确定各所述执行节点的已分配的子任务的处理进度；

根据各所述执行节点的已分配的子任务的处理进度，确定数据任务中未处理的子任务，将所述数据任务中未处理器的子任务设置为待分配的子任务。

3.如权利要求1所述的分布式任务调度方法，其特征在于，所述确定数据任务中待分配的子任务包括：

向所述协调节点发送节点查询指令，所述节点查询指令用于指示所述协调节点反馈当前处于执行状态的执行节点的数量；

若所述数量降低，则向所述协调节点发送节点下线查询指令，将所述协调节点返回的已下线执行节点上已分配的子任务中未执行的子任务设置为数据任务中待分配的子任务；所述节点下线查询指令用于指示所述协调节点反馈已下线执行节点，以及所述已下线节点上已分配的子任务；

若所述数量增加，则向各所述执行节点发送任务停止指令，确定各所述执行节点已分配的子任务的处理进度，根据各所述执行节点的已分配的子任务的处理进度，确定数据任务的中未处理的子任务，将所述数据任务中未处理器的子任务设置为待分配的子任务；所述任务停止指令用于指示所述执行节点停止处理已分配的子任务。

4.如权利要求1所述的分布式任务调度方法，其特征在于，所述根据各所述执行节点的任务执行信息，确定各所述执行节点的目标优先级包括：

根据各所述执行节点的任务执行信息，确定各所述执行节点的初始优先级；

若存在所述初始优先级相同的待排序执行节点，则获取所述待排序执行节点的负载信息，根据所述待排序执行节点的负载信息，对所述待排序执行节点的初始优先级进行调整，得到优先级调整后的待排序执行节点；所述负载信息包括所述执行节点中处于相同数据任务的所执行任务的数量；

根据优先级调整后的待排序执行节点，得到各所述执行节点的目标优先级。

5.如权利要求1所述的分布式任务调度方法，其特征在于，所述各所述执行节点的目标优先级，确定各所述子任务对应的目标执行节点包括：

将第一子任务分配至目标优先级最大的执行节点，以进行数据处理；所示第一子任务为各所述子任务中任意一个子任务；

根据各所述执行节点的当前任务执行信息，更新各所述执行节点的目标优先级，得到各所述执行节点的新目标优先级；

将第二子任务分配至新目标优先级最大的执行节点，以此重复，直至各所述子任务分配完成；所述第二子任务为各所述子任务中除所述第一子任务外的任意一个子任务。

6.一种分布式任务调度方法，其特征在于，所述方法应用于协调节点，所述协调节点存储有执行节点的注册序号以及各所述执行节点的执行任务数据；所述方法包括：

接收主节点发送的任务查询指令，根据所述任务查询指令查询各所述执行节点的执行任务数据，确定各所述执行节点的任务执行信息，向所述主节点反馈各执行节点的任务执行信息，以使主节点根据各所述执行节点的任务执行信息，确定各所述执行节点的目标优先级，根据各所述执行节点的目标优先级，确定各所述子任务对应的目标执行节点，将各所述子任务分配至所述各所述子任务对应的目标执行节点进行数据处理。