[发明专利]一种在云平台部署Spark集群的装置和方法

说明书

本发明实施例公开了一种在云平台部署Spark集群的装置和方法，该装置包括：步骤管理模块，用于检测前台界面上对云平台的集群节点和预设模板的选择；该集群节点可以包括：主节点和从节点；该预设模板可以包括：Spark部署模板、Spark扩充模板、Spark缩减模板和Spark回收模板；模板管理模块，用于根据选择结果调取相应的集群节点和模板；任务管理模块，用于根据调取的模板对相应的集群节点上的Spark进行相应处理。通过该实施例方案，降低了Spark集群的部署管理门槛，节约了安装时间、提高了安装配置效率。

技术领域

本发明实施例涉及云管理技术，尤指一种在云平台部署Spark集群的装置和方法。

背景技术

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是，Job中间输出结果可以保存在内存中，从而不再需要读写HDFS(分布式文件系统)，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

目前Spark的集群部署还是较为复杂，传统方式需通过Linux命令行方式进行，需要较多的运维、Linux操作系统知识，对普通开发人员要求较高。

发明内容

为了解决上述技术问题，本发明实施例提供了一种在云平台部署Spark集群的装置和方法，能够降低Spark集群的部署管理门槛，节约安装时间、提高安装配置效率。

为了达到本发明实施例目的，本发明实施例提供了一种在云平台部署Spark集群的装置，该装置可以包括：步骤管理模块、模板管理模块和任务管理模块；

步骤管理模块，用于检测前台界面上对云平台的集群节点和预设模板的选择；该集群节点可以包括：主节点和从节点；该预设模板可以包括：Spark部署模板、Spark扩充模板、Spark缩减模板和Spark回收模板；

模板管理模块，用于根据选择结果调取相应的集群节点和模板；

任务管理模块，用于根据调取的模板对相应的集群节点上的Spark进行相应处理。

可选地，任务管理模块根据调取的模板对相应的集群节点上的Spark进行相应处理包括：

当选择的预设模板为Spark部署模板时，根据Spark部署模板在云平台中所选择的集群节点上部署Spark；

当选择的预设模板为Spark扩充模板时，根据Spark扩充模板在所选择的集群节点上部署Spark以为云平台当前拥有的Spark集群扩充Spark节点；

当选择的预设模板为Spark缩减模板时，根据Spark缩减模板卸载所选择的集群节点上的Spark；

当选择的预设模板为Spark回收模板时，根据Spark回收模板卸载云平台当前拥有的每一个集群节点上的Spark。

可选地，任务管理模块根据Spark部署模板在云平台中所选择的集群节点上部署Spark包括：

读取云平台的集群节点中的主从节点信息，通过ansible向主节点下发主从节点文件，并触发主节点执行Spark安装命令，以在主节点上安装Spark；

在主节点安装Spark后，通过主节点读取主从节点文件，并在从节点上安装Spark。

可选地，任务管理模块在主节点上安装Spark包括：将Spark安装包分发到主节点的指定目录；并通过Spark安装包在主节点上安装Spark；