[发明专利]基于容器技术的Hadoop集群系统及快速构建方法

说明书

技术领域

本发明涉及大数据和云计算技术领域，具体来讲涉及基于容器技术的Hadoop集群系统及快速构建方法。

背景技术

在大数据技术领域，以Hadoop生态为代表的大数据技术经过多年的发展已经被越来越多的使用。软件研发人员往往需要进行多节点Hadoop集群的开发调试，经常遇到的一个问题是研发环境中的服务器数量不够用。与此类似，测试人员和运维人员在对Hadoop集群功能进行验证时，经常需要快速搭建一套多节点的Hadoop集群环境，也会遇到服务器数量不够用和部署环境配置繁琐导致时效性不高的情况。另外，对于数据分析人员，也经常有快速部署Hadoop集群进行数据分析应用的需求。

针对以上的问题和需求，过去采用基于虚拟机的解决方案，通过对计算、存储、网络等资源的复用，在一定程度上缓解服务器数量不够用的情况。但是，随着研发人员的不断增长，并不能满足各类大数据技术人员对Hadoop集群快速部署上线的需求；同时，虚拟机的解决方案也存在启动慢、时效性低的问题。

此外，当使用Docker容器技术部署Hadoop集群时，由于Hadoop集群节点间通过节点域名来相互通信，因此必须在制作Hadoop镜像的时候，手动添加静态域名解析条目，这也会导致Hadoop容器集群部署在Docker平台上的可用性非常差。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于容器技术的Hadoop集群系统及快速构建方法，能够快速部署Hadoop集群，解决服务器数量不够用的情况，提高Hadoop容器集群部署在Docker平台上的可用性。

为达到以上目的，本发明采取一种基于容器技术的Hadoop集群系统，包括：

客户端，用于向容器管理节点提交请求，包括部署请求和镜像打包请求；

镜像仓库，用于提供镜像的存储、查询、拉取服务；

多个容器运行节点，用于提供容器的运行环境和镜像打包环境，还用于从镜像仓库拉取相应的镜像进行部署，每个容器运行节点内设置多个容器；

容器管理节点，客户端提交请求的唯一入口，用于将请求部署的容器调度到容器运行节点运行，还用于管控容器运行节点的资源状态，向DNS服务更新成功部署容器的域名信息；

服务发现组件，用于配置共享和服务发现，以及记录容器运行节点间的通信信息，接受运行容器的注册信息。

本发明还提供一种基于容器技术的Hadoop集群快速构建方法，包括：

S1.环境初始化，配置不同容器运行节点的容器之间通过VXLAN进行通信，配置各容器运行节点的虚拟网桥不在同一网段；

S2.使用相同的基础操作系统，安装SSH和JAVA运行环境，制作DNS服务镜像、Hadoop Master服务镜像和Hadoop Slave服务镜像的打包文件，执行镜像打包，且镜像打包完成后上传至镜像仓库保存；

S3.用户通过客户端依次向容器管理节点提交部署DNS服务、Hadoop Master服务和Hadoop Slave服务的请求，容器管理节点调度相应请求到容器运行节点进行部署，并进行对应服务的注册；进入部署Hadoop Master服务的容器的命令行，运行Hadoop集群自身的启动脚本，部署完成。

在上述技术方案的基础上，所述S1中，在容器运行节点间建立一个重叠网络，在启动容器运行节点的Docker守护进程时，配置连接到服务发现组件的参数。

在上述技术方案的基础上，所述S2中，制作Hadoop Master服务镜像和Hadoop Slave服务镜像的打包文件包括，先配置基础操作系统镜像，安装SSH和JAVA运行环境；配置SSH无密码访问；再以解压方式上传Hadoop安装包；接着上传Hadoop配置文件；单独上传Slave文件；最后配置namenode格式化脚本；然后按照Dockerfile格式整理形成打包文件。

在上述技术方案的基础上，所述S2中执行镜像打包，包括，配置Hadoop配置文件中的slave文件，先写入Hadoop Master服务所部署的容器名，再根据想要部署的Hadoop Slave节点数目，循环追加写入Hadoop Slave所部署的容器名，形成的slave文件放置于镜像打包时指定的拷贝目录下；分别运行Docker的镜像打包命令，构建DNS服务镜像、Hadoop Master服务镜像和Hadoop Slave服务镜像，打包参数为镜像名和对应的Dockerfile文件目录路径。