[发明专利]一种基于包管理的分布式数据作业调度的方法和系统

说明书

本发明提供了一种基于包管理的分布式数据作业调度的方法和系统，属于计算机软件领域，用于管理分布式数据作业调度，其包括通过对作业梳理拆分以更细粒度方式呈现，以及引入产品项目概念以项目维度对作业进行任务创建和分类管理，任何作业均需自定义作业KEY，通过引入KEY方式支持跨项目依赖，且同一项目内不同工作流作业也支持KEY依赖注入，以解决项目作业隔离问题和权责分明，各业务产品线可以按需分配作业，各自运维自己所属项目的工作流作业，互不影响。本发明可提升作业任务开发和运维操作的用户体验，支持作业任务更细粒度拆分，归属明确。

技术领域

本发明涉及计算机软件技术领域，具体而言，涉及一种基于包管理的分布式数据作业调度的方法和系统。

背景技术

分布计算环境是基于分布式系统上进行的计算服务系统，分布式任务调度问题就是寻找将一组相互协作的任务分配到一组处理器上运行的最优解。由于传统调度系统的单一策略模式，使得调度决策在某些条件下是有效的，而在更多的情况下却不能令人满意。

在一个大型的分布式系统中，一方面，由于系统状态的不确定性；状态知识的不完整性；调度策略的不稳定性和系统缺乏自我调节能力，现有的许多分布式任务调度算法将失去其有效性而变得低效。

目前很多企业普遍存在大数据场景下批量工作流任务处理需求，迫切需要与之对应的工作流调度处理平台，市场上很少有商用产品能很好地满足此类数据需求，虽开源工作流调度框架azkaban功能强大，但真正面对实际业务场景时仍然存在很多需要改进的地方，比如不支持跨项目依赖、任务嵌套工作流过于繁琐、复杂业务难以适配、任务粒度太大、任务调度配置不友好、任务运维不方便等。

另一方面，随着移动互联网技术的发展，工作站、小型机等计算平台的普及和网络技术的成熟，组成系统的这些结点己不完全相同，而具有多种形式的异构性，例如，系统配置异构、体系结构异构和操作系统异构.如何将任务在这些异构的结点间快速而有效地分派和转移是目前分布式计算研究所面临的一个重大而复杂的问题。系统的异构性极大地增加了调度工作的复杂性，而现有的许多分布式任务调度都缺乏对异构型分布式计算环境的有力支持。

因此，在长期的研发当中，发明人对基于包管理的分布式数据作业调度的方法和系统进行了大量的研究，提出了一种对大数据场景下批量工作流任务的处理需求的方法，以解决上述技术问题之一。

发明内容

本发明的目的在于提供一种基于包管理的分布式数据作业调度的方法和系统，能够解决上述提到的至少一个技术问题。具体方案如下：

一种基于包管理的分布式数据作业调度的方法，包括：

步骤S1、系统创建本地工作流任务，在创建的所述本地工作流任务中，通过拖拽操作来创建DAG流程图；

步骤S2、根据创建的所述DAG流程图设置调度规则，并提交设置的所述调度规则以进行任务审核；

步骤S3、所述系统后台的守护程序不断轮询监听线上周期任务，并定时生成次日全量工作流任务实例，以及所述工作流任务实例所依赖的关系数据，向执行引擎发送所述工作流任务实例的执行请求；

步骤S4、所述执行引擎接收所述工作流任务实例的执行请求，并排队异步处理，通过解析工作流各子节点任务类型、参数变量数据，并触发相应作业插件，执行任务节点代码逻辑；

系统通过接口获取所述异步处理执行工作流详细日志；所述系统后台的守护程序通过接口查询所述工作流任务实例的执行状态去刷新本地的所述工作流任务实例以及所述依赖的关系数据的执行状态。

进一步的，所述步骤S1中用户创建本地工作流任务，所述DAG流程图中的流程子节点包括shell节点、Hive SQL节点、数据导出节点、MySQL节点、KEY节点中的一个或多个；

所述步骤S2中，进行任务审核具体包括：