[发明专利]分布式任务调度方法、系统、电子设备和存储介质

说明书

本发明公开了一种分布式任务调度方法、系统、电子设备和存储介质，该方法通过确定数据任务中待分配的子任务，向协调节点发送任务查询指令，指示协调节点反馈各执行节点的任务执行信息，并根据各执行节点的任务执行信息，确定各执行节点的目标优先级，根据各执行节点的目标优先级，确定各子任务对应的目标执行节点，将各子任务分配至各子任务对应的目标执行节点进行数据处理，如此，可以实现任务的灵活分配，合理配置节点资源，通过减少处理器之间的负载不均衡的可能性，提升任务调度效果。

技术领域

本发明涉及计算机网络技术领域，具体涉及一种分布式任务调度方法、系统、电子设备和存储介质。

背景技术

现有的任务调度技术中，通常是单个处理器的轮询多个任务进行处理或者并发处理多个任务，这种方式较为单一，无法利用整个集群多台服务器的资源，且无法动态的调整处理能力，使得任务调度效果差。

发明内容

本发明实施例提供一种分布式任务调度方法、系统、电子设备和存储介质，以提升任务调度效果。

一方面，本发明实施例提供一种分布式任务调度方法，所述方法应用在主节点，所述方法包括：

确定数据任务中待分配的子任务；

向协调节点发送任务查询指令，所述任务查询指令用于指示所述协调节点反馈各执行节点的任务执行信息；所述任务执行信息包括所执行任务的数量；

根据各所述执行节点的任务执行信息，确定各所述执行节点的目标优先级；

根据各所述执行节点的目标优先级，确定各所述子任务对应的目标执行节点，将各所述子任务分配至所述各所述子任务对应的目标执行节点进行数据处理。

另一方面，本发明实施例提供一种分布式任务调度方法，所述方法应用于协调节点，所述协调节点存储有执行节点的注册序号以及各所述执行节点的执行任务数据；所述方法包括：

接收主节点发送的任务查询指令，根据所述任务查询指令查询各所述执行节点的执行任务数据，确定各所述执行节点的任务执行信息，向所述主节点反馈各执行节点的任务执行信息，以使主节点根据各所述执行节点的任务执行信息，确定各所述执行节点的目标优先级，根据各所述执行节点的目标优先级，确定各所述子任务对应的目标执行节点，将各所述子任务分配至所述各所述子任务对应的目标执行节点进行数据处理。

另一方面，本发明实施例提供一种分布式任务调度系统，所述系统包括主节点、协调节点和至少一个协调节点；

所述主节点，用于确定数据任务中待分配的子任务，向协调节点发送任务查询指令，所述任务查询指令用于指示所述协调节点反馈各执行节点的任务执行信息；所述任务执行信息包括所执行任务的数量；

所述协调节点，用于接收所述主节点发送的任务查询指令，根据所述任务查询指令查询各所述执行节点的执行任务数据，确定各所述执行节点的任务执行信息，向所述主节点反馈各执行节点的任务执行信息；

所述主节点，用于根据各所述执行节点的任务执行信息，确定各所述执行节点的目标优先级，根据各所述执行节点的目标优先级，确定各所述子任务对应的目标执行节点，将各所述子任务分配至所述各所述子任务对应的目标执行节点进行数据处理；

所述执行节点，用于根据所述主节点分配的所述子任务进行数据处理。

另一方面，本发明实施例提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行上述方法中的操作。

另一方面，本发明实施例提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述方法中的步骤。