[发明专利]一种Notebook任务的调度方法、设备及计算机可读存储介质

说明书

本发明提供了一种Notebook任务调度方法，所述方法包括：同步Notebook脚本到Zeppelin管理平台；在所述Zeppelin管理平台上配置Notebook调度，并在Kubernetes上创建定时任务；所述定时任务启动Kubernetes Notebook任务驱动程序执行；更新所述Kubernetes Notebook任务驱动程序Pod状态。本发明通过整合Kubernetes容器化技术和Zeppelin Notebook，使得用户可以对Notebook进行周期性任务调度配置，实现自动化任务调度，用户在完成数据分析或数据建模摸索后，只需要进行页面配置就可实现任务自动化调度，提高了工作效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种Notebook任务调度方法、设备及计算机可读存储介质。

背景技术

大多数互联网企业都提供有类似Notebook类的产品，采用交互式的方式进行数据分析、数据建模及数据可视化，Apache Zeppelin是一款大数据分析、可视化及建模的开源产品，有些企业是采用Apache Zeppelin进行企业定制化开发，可以让数据分析师、算法建模人员在一个基于Web页面的笔记本中，使用不同的语言，不同的计算引擎对不同数据源中的数据进行交互式分析，并对分析结果进行可视化展示的工具。支持Flink、Spark、Python、JDBC、Markdown、Shell、ES等各种常用的计算引擎和语言工具集。

但是在实际使用当中，Zeppelin Notebook只支持手动交互式去运行脚本，用户通常在进行数据分析尤其是数据建模探索后，需要进行任务调度尤其是周期性的跑数据分析脚本、周期性的进行模型训练，Zeppelin产品就无法满足Notebook脚本的调度需求。因此需要一种自动化的Notebook任务调度方法。

发明内容

本发明的目的在于提供一种Notebook任务的调度方法、设备及计算机可读存储介质，旨在解决Zeppelin Notebook无法满足Notebook脚本自动化调度需求。

第一方面，本发明提供了一种Notebook任务调度方法，所述方法包括：

S101、同步Notebook脚本到Zeppelin管理平台；

S102、在所述Zeppelin管理平台上配置Notebook调度，并在Kubernetes上创建定时任务；

S103、所述定时任务启动Kubernetes Notebook任务驱动程序执行；

S104、更新所述Kubernetes Notebook任务驱动程序Pod状态。

第二方面，本发明提供了一种Notebook任务调度设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如上所述的Notebook任务调度方法的步骤。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的Notebook任务调度方法的步骤。

本发明通过整合Kubernetes容器化技术和Zeppelin Notebook，使得用户可以对Notebook进行周期性任务调度配置，实现自动化任务调度，用户在完成数据分析或数据建模摸索后，只需要进行页面配置就可实现任务自动化调度，提高了工作效率，同时通过持久化每次实例任务能够便于用户去查看历史记录以及任务状态。

附图说明