[发明专利]一种基于脚本程序自动化部署Zookeeper集群的方法

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于脚本程序自动化部署Zookeeper集群的方法。

背景技术

Apache Zookeeper是一个开源的高可靠的分布式协调服务器，是Hadoop子项目中的一种分布式协调系统，用于控制分布式系统中各个组件中的一致性。很多项目中都用到了Zookeeper，包括基于列存储的NoSQL数据库HBase、分布式实时流计算系统Storm、NoSQL数据存储系统Blur等。因此，自动化部署Zookeeper集群，变得很重要，因为可以节省集群部署时间和运维成本。处理大数据的Hadoop集群，有大量的开源社区或者商家研发并提供专门的配置管理工具来自动化部署集群，其中就包含了Zookeeper的自动化部署功能。但是，Hadoop集群外的集群系统，尚无现成的自动化部署Zookeeper集群的方法或者软件工具。

Apache Ambari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理，是顶级的hadoop管理工具之一。

Ambari的特性有：

a)通过一步一步的安装向导简化了集群供应。

b)预先配置好关键的运维指标（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。

c)支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。

d)通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。

e)用户界面非常直观，用户可以轻松有效地查看信息并控制集群。

假如需要部署Hadoop集群，Ambari是个不错的选择方案。但是，如果只是部署Zookeeper集群作为一致性协调系统，在Zookeeper之上还需要部署其它集群，例如Storm、Blur等，Ambari就显得大材小用了。因为，部署完Zookeeper集群之后的工作，已经不属于Ambari的能力范围了。

Cloudera Manager是Cloudera公司开发的Hadoop集群配置管理工具，可以对集群进行快速部署，当然也可以自动化部署Zookeeper集群，只需要提供集群节点的root用户名和密码。Cloudera Manager的功能和Apache Ambari的功能差不多，有些功能甚至更强大。但是Cloudera Manager安装起来比较麻烦，需要联网安装，否则需要配置Yum源才能安装。

因此，为了克服现有技术中的缺陷和不足，本发明提供的自动化部署Zookeeper集群的方法，为所有的集群系统提供了一个可行的解决方案和方法。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种基于脚本程序自动化部署Zookeeper集群的方法，该方法通过使用脚本语言自动化部署Zookeeper集群，在配置管理节点上，把自动化部署脚本程序和官网下载的Zookeeper程序放在同一个文件夹下，配置好zookeeper-detail.conf和zookeeper-clusters.conf这2个文件，最后运行脚本程序完成自动化配置功能。具体流程为：

a.脚本程序读取配置文件；

b.脚本程序根据配置文件的信息使用SCP命令传送Zookeeper压缩包文件到集群各个节点；

c.脚本程序SSH到集群各个节点上面解压Zookeeper压缩包文件；

d.脚本程序SSH到集群各个节点配置Zookeeper的环境变量；

e.脚本程序SSH到集群各个节点产生Zookeeper的配置文件；

f.脚本程序SSH到集群各个节点对时间进行统一的设置；

g.脚本程序SSH到集群各个节点上面开放防火墙端口；

h.脚本程序SSH到集群各个节点上面执行启动命令：bin/zkServer.sh start。

在步骤a中，脚本读取zookeeper-detail.conf和zookeeper-clusters.conf的内容，初始化集群系统的参数。

在步骤d中，脚本SSH到集群各个节点上面配置系统级的环境变量，例如/etc/profile文件，或者用户级的环境变量，例如Linux用户名下的.bashrc文件。

在步骤e中，脚本SSH到集群各个节点上面产生配置zoo.cfg文件、myid文件。