[发明专利]基于容器技术的Hadoop集群系统及快速构建方法

权利要求书

1.一种基于容器技术的Hadoop集群系统，其特征在于，包括：

客户端，用于向容器管理节点提交请求，包括部署请求和镜像打包请求；

镜像仓库，用于提供镜像的存储、查询、拉取服务；

多个容器运行节点，用于提供容器的运行环境和镜像打包环境，还用于从镜像仓库拉取相应的镜像进行部署，每个容器运行节点内设置多个容器；

容器管理节点，客户端提交请求的唯一入口，用于将请求部署的容器调度到容器运行节点运行，还用于管控容器运行节点的资源状态，向DNS服务更新成功部署容器的域名信息；

服务发现组件，用于配置共享和服务发现，以及记录容器运行节点间的通信信息，接受运行容器的注册信息。

2.一种基于权利要求1所述系统的基于容器技术的Hadoop集群快速构建方法，其特征在于，包括：

S1.环境初始化，配置不同容器运行节点的容器之间通过VXLAN进行通信，配置各容器运行节点的虚拟网桥不在同一网段；

S2.使用相同的基础操作系统，安装SSH和JAVA运行环境，制作DNS服务镜像、Hadoop Master服务镜像和Hadoop Slave服务镜像的打包文件，执行镜像打包，且镜像打包完成后上传至镜像仓库保存；

S3.用户通过客户端依次向容器管理节点提交部署DNS服务、Hadoop Master服务和Hadoop Slave服务的请求，容器管理节点调度相应请求到容器运行节点进行部署，并进行对应服务的注册；进入部署Hadoop Master服务的容器的命令行，运行Hadoop集群自身的启动脚本，部署完成。

3.如权利要求2所述基于容器技术的Hadoop集群快速构建方法，其特征在于：所述S1中，在容器运行节点间建立一个重叠网络，在启动容器运行节点的Docker守护进程时，配置连接到服务发现组件的参数。

4.如权利要求2所述基于容器技术的Hadoop集群快速构建方法，其特征在于：所述S2中，制作Hadoop Master服务镜像和HadoopSlave服务镜像的打包文件包括，先配置基础操作系统镜像，安装SSH和JAVA运行环境；配置SSH无密码访问；再以解压方式上传Hadoop安装包；接着上传Hadoop配置文件；单独上传Slave文件；最后配置namenode格式化脚本；然后按照Dockerfile格式整理形成打包文件。

5.如权利要求4所述基于容器技术的Hadoop集群快速构建方法，其特征在于：所述S2中执行镜像打包，包括，

配置Hadoop配置文件中的slave文件，先写入Hadoop Master服务所部署的容器名，再根据想要部署的Hadoop Slave节点数目，循环追加写入Hadoop Slave所部署的容器名，形成的slave文件放置于镜像打包时指定的拷贝目录下；

分别运行Docker的镜像打包命令，构建DNS服务镜像、HadoopMaster服务镜像和Hadoop Slave服务镜像，打包参数为镜像名和对应的Dockerfile文件目录路径。

6.如权利要求2所述基于容器技术的Hadoop集群快速构建方法，其特征在于：所述S2中，将DNS服务镜像、Hadoop Master服务镜像和Hadoop Slave服务镜像的打包文件，通过Docker的加载命令，由客户端上传至镜像仓库保存。

7.如权利要求2所述基于容器技术的Hadoop集群快速构建方法，其特征在于：所述S3中，客户端向容器管理节点提交部署DNS服务的请求，请求至少包含容器名、DNS服务镜像版本和容器所在的叠加网络信息，容器管理节点调度该请求到容器运行节点进行部署，并进行DNS服务注册。

8.如权利要求2所述基于容器技术的Hadoop集群快速构建方法，其特征在于：所述S3中，DNS服务部署后，客户端向容器管理节点提交部署Hadoop Master服务的请求，请求至少包含容器名、Hadoop Master服务镜像、DNS地址和容器所在的叠加网络信息，容器管理节点调度该请求到容器运行节点进行部署，并进行HadoopMaster服务注册。