[发明专利]一种大数据任务调度的系统以及方法

摘要

本发明公开了一种大数据任务调度的系统以及方法，通过任务配置模块获取任务配置指令，根据任务配置指令配置任务参数；任务调度中心节点根据任务参数生成可执行任务，统计任务运行节点以及数据源上运行的任务数量，根据任务数量以及预设阈值，控制任务的并发度，使任务数量小于所述预设阈值；在任务的并发度在预设阈值范围内且满足依赖时，进行任务分发，任务运行节点运行任务调度中心节点分发的可执行任务。统计得出当前任务的并发度，判断运行的任务数量是否超出预设阈值，确定是否继续下发可执行任务，避免同时运行的任务数量过多，从而导致系统负载过高。可见，本申请对大数据任务的并发度进行控制，保证了大数据任务的运行效率。

主权项

一种大数据任务调度的系统，其特征在于，包括：任务配置模块，用于获取任务配置指令，根据所述任务配置指令配置任务参数；任务调度中心节点，与所述任务配置模块相连，用于根据所述任务参数生成可执行任务，统计任务运行节点以及数据源上运行的任务数量，根据所述任务数量以及预设阈值，控制任务的并发度，使所述任务数量小于或等于所述预设阈值；任务运行节点，与所述任务调度中心节点相连，用于运行所述任务调度中心节点分发的所述可执行任务。