[发明专利]一种部署Spark应用的方法

说明书

本发明公开一种部署Spark应用的方法，包括：利用插件创建Zeppelin Notebook；新增或更新预定段落信息；运行所述段落信息并查看输出结果；在Zeppelin工具的Web页面中对笔记本中数据进行可视化加工，运行整个笔记本或者数据结果。本发明提供的技术方案，能够高效地产生数据报表，从而为运营人员可视化的数据需求提供更快捷、可靠的数据保障。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种部署Spark应用的方法。

背景技术

Zeppelin是一个Apache的孵化项目，是一个Web笔记形式的交互数据查询分析工具，可以在线使用Scala和SQL对数据进行查询分析并生成报表。Zeppelin的后台数据引擎是Spark，也可以添加开发者自实现的其他数据引擎，本发明仅针对Spark数据处理引擎。执行引擎的作用就是执行笔记本中所输入的代码，如图2所示。

随着业务的逐步扩展，数据的维度、量级以及运营人员对数据报表需求的时效性等等都在不断的增加和变化，但是现有的数据分析业务无法支持随时随地更改数据统计纬度、快速生成数据报表。通常是编写一套新的业务逻辑代码来适配当前的数据报表需求，耗时较长也无法更快的提供验证数据报表。

另外，由于Zeppelin工具是一个基于Web的笔记本工具，并不能够提供类似于IDE中的代码提示、校验等功能，在编写代码层面上具有一定的复杂度。

发明内容

本发明旨在提供一种部署Spark应用的方法，能够高效地产生数据报表，从而为运营人员可视化的数据需求提供更快捷、可靠的数据保障。

为达到上述目的，本发明采用的技术方案如下：

一种部署Spark应用的方法，包括：利用插件创建Zeppelin Notebook；新增或更新预定段落信息；运行所述段落信息并查看输出结果；在Zeppelin工具的Web页面中对笔记本中数据进行可视化加工，运行整个笔记本或者数据结果。

本发明实施例提供的部署Spark应用的方法，通过使用IDE(Intellij Idea)的插件开发模块，结合Zeppelin工作所提供的相关接口，整合为一个可独立运行安装的IDE插件，提高Zeppelin Notebook的编写效率。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例中执行引擎的界面图；

图3为本发明实施例的最终运行结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本发明提供一个基于IDE(如Intellij Idea)的Zeppelin插件，该插件可以进行如下的步骤：

1、设定Zeppelin工具的Web访问地址，在IDE中输入Notebook的名字，选中该名字，通过快捷键，使其在Zeppelin工具中新建一个用于后续操作的笔记本。

2、编写业务逻辑代码，并在笔记本中新增或更新段落信息，有以下两种情况：

(1)当前代码只有一行时，将光标置于代码末尾，通过快捷键使得光标所在行的代码内容同步至上一步所创建好的笔记本中，如果当前段落不存在则新增一个段落，如果当前段落已存在则更新段落内容。

(2)当前代码有多行时，选中所有代码，通过快捷键，使得所选中的代码内容同步至上一步所创建的好的笔记本中，并且新增一个段落。

3、在段落在新增和段落内代码发生变化的情况下，笔记本会自动对当前段落进行编译，并输出相应的结果。