[发明专利]一种调度Zeppelin任务的方法、系统、计算设备及存储介质

说明书

本发明公开了一种调度Zeppelin任务的方法，包括以下步骤：Zeppelin生成包含多个任务的notebook；解析得到任务之间的依赖关系；根据依赖关系生成编排文件；根据编排文件完成任务。本发明无需人工设定有依赖关系的Zeppelin任务的执行顺序，可实现自动化调度有依赖关系的Zeppelin任务。本发明还提供了一种调度Zeppelin任务的系统、计算设备及存储介质。

技术领域

本发明涉及大数据处理领域，特别涉及一种调度Zeppelin任务的方法、系统、计算设备及存储介质。

背景技术

目前，数据治理领域，存在各种各样的ETL(数据仓库技术)工具及调度系统，比如Kettle，Nifi，Zeppelin，Sqoop等等。Kettle是一个常用的ETL工具软件，但是其只支持单机部署，无法应对大数据分布式环境下数据处理的需求。Nifi是一个优秀的数据导流以及任务调度系统，但是对于需要执行大量SQL、统一管理就有些无能为力了。而Zeppelin是一个优秀的web数据驱动交互式云开发环境，方便ETL人员以及程序开发人员使用，无需担心环境问题，可以更加聚焦于业务逻辑的实现。

在Zeppelin中以notebook(笔记本)的形式组织和管理交互式数据探索任务，notebook可以包括多个paragraph(段)。paragraph是进行数据分析的最小单位，即在paragraph中可以完成数据分析代码的编写以及结果的可视化查看。因此，一个paragraph可看做是一个基本的任务单元。虽然，Zeppelin可以实现部分简单的paragraph解析、管理和调度。但是，由于Zeppelin仅提供执行单个paragraph和顺序执行所有paragraph的按钮，因此，notebook中的多个paragraph无法进行依赖度解析，只能由人工设定多个paragraph不同的执行顺序，或设定先后的调度时间，来实现有依赖关系的paragraph的执行。但是，人工设定的方式需要经验丰富的ETL人员进行分析和设定操作，人力成本高，执行效率低，耗时长，且无法进行并发操作。

因此，急需一种能实现自动化调度有依赖关系的Zeppelin任务的方法。

发明内容

本发明的目的在于解决现有技术中Zeppelin中有依赖关系的多个任务调度需要人工设定以致于人力成本高、执行效率低的问题。本发明提供了一种调度Zeppelin任务的方法、系统、计算设备及存储介质，可实现自动化调度有依赖关系的Zeppelin任务。

为解决上述技术问题，本发明的实施方式公开了一种调度Zeppelin任务的方法，包括以下步骤：Zeppelin生成包含多个任务的notebook；解析得到任务之间的依赖关系；根据依赖关系生成编排文件；根据编排文件完成任务。

采用上述技术方案，可实现自动化调度有依赖关系的Zeppelin任务。

可选地，Zeppelin生成包含多个任务的notebook的步骤，包括：创建包含ID信息的notebook；根据代表任务的SQL语句生成notebook的json数据。

可选地，解析得到任务之间的依赖关系的步骤，包括：根据ID信息获得json数据；提取json数据中的SQL语句；解析SQL语句间的依赖关系。

可选地，根据依赖关系生成编排文件的步骤，包括：根据依赖关系生成依赖关系树；根据依赖关系树创建编排文件。

可选地，根据编排文件完成任务的步骤，包括：编排文件上传至Azkaban；Azkaban根据编排文件完成任务。

可选地，Azkaban根据编排文件完成任务的步骤，包括：Azkaban调用Spark作为执行引擎；Spark使用cluster模式执行编排文件。