[发明专利]一种基于包管理的分布式数据作业调度的方法和系统

摘要

本发明提供了一种基于包管理的分布式数据作业调度的方法和系统，属于计算机软件领域，用于管理分布式数据作业调度，其包括通过对作业梳理拆分以更细粒度方式呈现，以及引入产品项目概念以项目维度对作业进行任务创建和分类管理，任何作业均需自定义作业KEY，通过引入KEY方式支持跨项目依赖，且同一项目内不同工作流作业也支持KEY依赖注入，以解决项目作业隔离问题和权责分明，各业务产品线可以按需分配作业，各自运维自己所属项目的工作流作业，互不影响。本发明可提升作业任务开发和运维操作的用户体验，支持作业任务更细粒度拆分，归属明确。

主权项

1.一种基于包管理的分布式数据作业调度的方法，其特征在于，包括：步骤S1、系统创建本地工作流任务，在创建的所述本地工作流任务中，通过拖拽操作来创建DAG流程图；步骤S2、根据创建的所述DAG流程图设置调度规则，并提交设置的所述调度规则以进行任务审核；步骤S3、所述系统后台的守护程序不断轮询监听线上周期任务，并定时生成次日全量工作流任务实例，以及所述工作流任务实例所依赖的关系数据，向执行引擎发送所述工作流任务实例的执行请求；步骤S4、所述执行引擎接收所述工作流任务实例的执行请求，并排队异步处理，通过解析工作流各子节点任务类型、参数变量数据，并触发相应作业插件，执行任务节点代码逻辑；系统通过接口获取所述异步处理执行工作流详细日志；所述系统后台的守护程序通过接口查询所述工作流任务实例的执行状态去刷新本地的所述工作流任务实例以及所述依赖的关系数据的执行状态。