[发明专利]一种在云平台部署Spark集群的装置和方法

权利要求书

1.一种在云平台部署Spark集群的装置，其特征在于，所述装置包括：步骤管理模块、模板管理模块和任务管理模块；

所述步骤管理模块，用于检测前台界面上对云平台的集群节点和预设模板的选择；所述集群节点包括：主节点和从节点；所述预设模板包括：Spark部署模板、Spark扩充模板、Spark缩减模板和Spark回收模板；

所述模板管理模块，用于根据选择结果调取相应的集群节点和模板；

所述任务管理模块，用于根据调取的模板对相应的集群节点上的Spark进行相应处理；

所述任务管理模块根据调取的模板对相应的集群节点上的Spark进行相应处理包括：

当选择的预设模板为所述Spark部署模板时，根据所述Spark部署模板在云平台中所选择的集群节点上部署Spark；

当选择的预设模板为所述Spark扩充模板时，根据所述Spark扩充模板在所选择的集群节点上部署Spark以为云平台当前拥有的Spark集群扩充Spark节点；

当选择的预设模板为所述Spark缩减模板时，根据所述Spark缩减模板卸载所选择的集群节点上的Spark；

当选择的预设模板为所述Spark回收模板时，根据所述Spark回收模板卸载云平台当前拥有的每一个集群节点上的Spark；

所述任务管理模块根据所述Spark部署模板在云平台中所选择的集群节点上部署Spark包括：

读取所述云平台的集群节点中的主从节点信息，通过ansible向所述主节点下发主从节点文件，并触发所述主节点执行Spark安装命令，以在所述主节点上安装Spark；

在所述主节点安装Spark后，通过所述主节点读取所述主从节点文件，并在所述从节点上安装Spark；

所述任务管理模块在所述主节点上安装Spark包括：将Spark安装包分发到所述主节点的指定目录；并通过所述Spark安装包在所述主节点上安装Spark；

所述任务管理模块在所述从节点安装Spark包括：通过自动交互语言expect配置所述主节点到所有从节点的无密码访问；由所述主节点将所述Spark安装包分发到各个从节点并执行Spark安装命令；

其中，所述Spark安装包包括：针对面向对象编程语言Java开发人员发布的免费软件开发工具包JDK、可伸缩的语言Scala、分布式系统基础架构Hadoop和Spark。

2.根据权利要求1所述的在云平台部署Spark集群的装置，其特征在于，所述任务管理模块还用于在每个集群节点上安装Spark之前，判断该集群节点是否已安装Spark，如果该集群节点已安装Spark，则退出该集群节点并进入下一个集群节点；如果该集群节点未安装Spark，则在该集群节点上安装Spark。

3.根据权利要求1所述的在云平台部署Spark集群的装置，其特征在于，所述任务管理模块根据所述Spark扩充模板在所选择的集群节点上部署Spark以为云平台当前拥有的Spark集群扩充集群节点包括：

判断所选择的集群节点是否已安装Spark，如果所选择的集群节点已安装Spark，则退出该集群节点；

如果该集群节点未安装Spark，则判断所选择的集群节点是主节点或从节点；

当所选择的集群节点是主节点时，在所述主节点上安装Spark；当所选择的集群节点是从节点时，在所述从节点上安装Spark。

4.根据权利要求1所述的在云平台部署Spark集群的装置，其特征在于，所述任务管理模块根据所述Spark缩减模板卸载所选择的集群节点上的Spark包括：

查询所选择的集群节点上的Spark进程，并停止所述Spark进程，卸载所选择的集群节点上的Spark软件。

5.根据权利要求1所述的在云平台部署Spark集群的装置，其特征在于，所述任务管理模块根据所述Spark回收模板卸载云平台当前拥有的每一个集群节点上的Spark包括：

查询所述云平台中每一个集群节点上的Spark进程，并停止每一个集群节点上的Spark进程，卸载每一个集群节点上的Spark软件，以实现所述云平台的Spark集群的回收。