[发明专利]一种调度Zeppelin任务的方法、系统、计算设备及存储介质

权利要求书

1.一种调度Zeppelin任务的方法，其特征在于，包括以下步骤：

Zeppelin生成包含多个任务的notebook；

解析得到所述任务之间的依赖关系；

根据所述依赖关系生成编排文件；

根据所述编排文件完成所述任务。

2.如权利要求1所述的调度Zeppelin任务的方法，所述Zeppelin生成包含多个任务的notebook的步骤，包括：

创建包含ID信息的notebook；

根据代表所述任务的SQL语句生成所述notebook的json数据。

3.如权利要求2所述的调度Zeppelin任务的方法，其特征在于，所述解析得到所述任务之间的依赖关系的步骤，包括：

根据所述ID信息获得所述json数据；

提取所述json数据中的所述SQL语句；

解析所述SQL语句间的依赖关系。

4.如权利要求3所述的调度Zeppelin任务的方法，其特征在于，根据所述依赖关系生成编排文件的步骤，包括：

根据所述依赖关系生成依赖关系树；

根据所述依赖关系树创建编排文件。

5.如权利要求1所述的调度Zeppelin任务的方法，其特征在于，根据所述编排文件完成所述任务的步骤，包括：

编排文件上传至Azkaban；

Azkaban根据所述编排文件完成所述任务。

6.如权利要求5所述的调度Zeppelin任务的方法，其特征在于，所述Azkaban根据所述编排文件完成所述任务的步骤，包括：

所述Azkaban调用Spark作为执行引擎；

所述Spark使用cluster模式执行所述编排文件。

7.一种调度Zeppelin任务的系统，其特征在于，包括：

Zeppelin模块，用于生成包含多个任务的notebook；

解析模块，用于解析得到所述任务之间的依赖关系；

文件生成模块，用于根据所述依赖关系生成编排文件；

调度模块，用于根据所述编排文件完成所述任务。

8.如权利要求7所述的调度Zeppelin任务的系统，其特征在于，所述Zeppelin模块包括创建单元、编辑单元和转换单元，所述创建单元用于创建包含ID信息的所述notebook，所述编辑单元用于用户编辑所述notebook、输入代表所述任务的SQL语句，所述转换单元用于对完成编辑的所述notebook生成对应的json数据；所述解析模块包括获取单元、提取单元和解析单元，所述获取单元用于根据所述ID信息获取所述json数据，所述提取单元用于提取所述json数据中的所述SQL语句，所述解析单元用于解析所述SQL语句之间的依赖关系。

9.如权利要求7所述的调度Zeppelin任务的系统，其特征在于，所述调度模块为Azkaban模块。

10.如权利要求9所述的调度Zeppelin任务的系统，其特征在于，所述调度Zeppelin任务的系统还包括执行引擎Spark，所述Spark用于被所述Azkaban模块调用以执行所述编排文件。

11.一种计算设备，其特征在于，包括：

处理器，适于实现各种指令；

存储器，适于存储多条指令，所述指令适于由所述处理器加载并执行权利要求1-6中任一项所述的调度Zeppelin任务的方法。

12.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1-6中任一项所述的调度Zeppelin任务的方法。