[发明专利]一种基于包管理的分布式数据作业调度的方法和系统

权利要求书

1.一种基于包管理的分布式数据作业调度的方法，其特征在于，包括：

步骤S1、系统创建本地工作流任务，在创建的所述本地工作流任务中，通过拖拽操作来创建DAG流程图；

步骤S2、根据创建的所述DAG流程图设置调度规则，并提交设置的所述调度规则以进行任务审核；

步骤S3、所述系统后台的守护程序不断轮询监听线上周期任务，并定时生成次日全量工作流任务实例，以及所述工作流任务实例所依赖的关系数据，向执行引擎发送所述工作流任务实例的执行请求；

步骤S4、所述执行引擎接收所述工作流任务实例的执行请求，并排队异步处理，通过解析工作流各子节点任务类型、参数变量数据，并触发相应作业插件，执行任务节点代码逻辑；

系统通过接口获取所述异步处理执行工作流详细日志；所述系统后台的守护程序通过接口查询所述工作流任务实例的执行状态去刷新本地的所述工作流任务实例以及所述依赖的关系数据的执行状态；

所述步骤S2中，进行任务审核具体包括：

系统对所提交的所述调度规则进行审核，若审核通过，则通过系统后台创建远端工作流任务，并执行步骤S3，若审核不通过，则结束，并返回步骤S1；

所述步骤S3中，还包括：记录所述工作流任务实例的执行状态数据，同时所述系统后台的守护程序触发执行满足所述调度规则的所述工作流任务实例；

所述记录所述工作流任务实例的执行状态数据，具体包括：

记录脚本内容、所述流程子节点的依赖的关系数据，形成线下工作流快照数据；

所述通过系统后台创建远端工作流任务，具体包括：

若审核通过，则通过系统后台调用azkaban接口，以创建所述远端工作流任务，所述远端工作流任务包括刷新访问Token、上传zip包或创建工作流中的一种，所述远端工作流任务支持版本机制以方便进行历史任务运维；所述线下工作流快照数据和线上版本工作流数据均已存在，所述本地工作流任务和所述远端工作流任务通过任务KEY+版本号作为唯一编码串联起来，等待系统后台进行相关处理。

2.根据权利要求1所述的基于包管理的分布式数据作业调度的方法，其特征在于，所述步骤S1中用户创建本地工作流任务，所述DAG流程图中的流程子节点包括shell节点、HiveSQL节点、数据导出节点、MySQL节点、KEY节点中的一个或多个。

3.根据权利要求2所述的基于包管理的分布式数据作业调度的方法，其特征在于，所述KEY节点代表外部任务，所述外部任务包括本项目内的任务或者跨项目的任务，在本项目内的任务或者跨项目的任务中注入所述依赖的关系数据。

4.根据权利要求3所述的基于包管理的分布式数据作业调度的方法，其特征在于，设置的所述调度规则包括自动重跑、生效日期、起调时间、执行周期、间隔时间、任务自依赖中的一种或多种。

5.根据权利要求4所述的基于包管理的分布式数据作业调度的方法，其特征在于，所述执行周期包括小时、天、周、月，所述间隔时间包括间隔一小时、间隔两小时或间隔N小时，N为正整数。

6.根据权利要求1所述的基于包管理的分布式数据作业调度的方法，其特征在于，所述系统后台的守护程序不断轮询监听线上周期任务，并定时生成次日全量工作流任务实例，具体包括：

所述系统后台的守护程序不断轮询监听线上周期任务，每天23点生成次日的全量工作流任务实例以及所述工作流任务实例所依赖的关系数据，并记录所述工作流任务实例的执行状态数据；

所述系统后台的守护程序同时触发执行满足所述调度规则的所述工作流任务实例，向所述执行引擎发送所述工作流任务实例的执行请求。