[发明专利]基于有向无环图的大数据作业调度系统

摘要

本发明公开了一种基于有向无环图的大数据作业调度系统，包括数据库，所述数据库用于存储作业任务和业务节点的所有信息，所述大数据作业调度系统还包括数据库管理模块、DAG算法模块、调度模块以及监听模块，所述监听模块与所述调度模块和所述作业任务连接，所述监听模块用于监听所有运行的作业任务反馈的信息，并将所述作业任务反馈的信息传递给所述调度模块。本发明提供的基于有向无环图的大数据作业调度系统，支持大数据生态圈之间组件的任务调度及其监控，满足未来扩展组件的需要，并且易于设置具有活跃的管理模块和备用的管理模块两套管理模块，实现调度系统的高可用。

主权项

一种基于有向无环图的大数据作业调度系统，包括数据库，所述数据库用于存储作业任务和业务节点的所有信息，其特征在于，所述大数据作业调度系统还包括：数据库管理模块，与所述数据库连接，所述数据库管理模块用于操作所述数据库；DAG算法模块，与所述数据库管理模块连接，所述DAG算法模块用于通过所述数据库管理模块获取所述数据库中的所有的作业任务，确定作业任务和业务之间的对应关系，并生成相应的业务节点，然后使用拓扑算法，遍历所有作业任务，根据业务依赖关系确定所有作业任务的先后执行顺序和串并行执行顺序，将所有的业务节点组合在一起形成树状业务作业图，根据树状业务作业图确定下一个或多个需要执行的作业任务，并根据调度模块的执行结果更新当前业务节点；调度模块，与所述DAG算法模块和所述作业任务连接，所述调度模块用于询问所述DAG算法模块，以获取需要调度的所述作业任务，识别记录串行或并行作业任务的调度，并根据监听模块的反馈信息判断作业任务的执行结果；监听模块，与所述调度模块和所述作业任务连接，所述监听模块用于监听所有运行的作业任务反馈的信息，并将所述作业任务反馈的信息传递给所述调度模块。