[发明专利]一种基于Docker的大数据学习平台搭建方法

说明书

本发明公开了一种基于Docker的大数据学习平台搭建方法，该方法首先初始化主机网络环境，创建虚拟网卡桥接到物理网卡上；然后客户端调用脚本创建容器，所述容器具有ubuntu系统最小系统的基础组件，并且容器默认开启SSH服务，实现与服务器相同的访问；接着创建容器镜像，设置后台守护进程作为所述容器运行时的依赖进程，容器内部进程异常退出后实现自动拉起；最后通过配置环境变量，包括调用脚本内部脚本读取环境变量。该方法应用Docker技术实现依赖环境、大数据组件的容器化，方便移植，构建独立的大数据学习平台，降低大数据初学者的学习成本。

技术领域

本发明涉及大数据平台搭建技术，尤其涉及一种基于Docker的大数据学习平台搭建方法。

背景技术

Docker是一个开源的、轻量级的容器引擎，主要运行于Linux和Windows，用于创建、管理和编排容器，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器，容器是完全使用沙箱机制，相互之间不会有任何接口，几乎没有性能开销,可以很容易地在机器和数据中心中运行。

大数据软件开发过程中，设计的组件、服务种类多，版本迭代频繁，网络服务，存储服务，虚拟化服务等应用服务创建需要学习人员具有专门的操作系统知识，这种现状造成了初学者学习成本的上升，Docker镜像技术有效的解决了这个问题。Docker开发人员根据Dockerfile来构建个性化的版本镜像，打包应用以及依赖包到一个可移植的容器中，组件依赖环境已经预先设置，组件的各类启动命令已经脚本化，各类服务已经提前部署，基于Docker镜像的容器启动即服务。Docker使用容器承载应用程序，而不使用操作系统，所以它的开销很少，性能很高。Docker容器的启动时间是秒级的，大量地节约初学者学习的时间，提高初学者的学习体验。

发明内容

发明目的：为降低大数据初学者的学习成本，构建独立的大数据学习平台，本发明提供一种基于Docker的大数据学习平台快速搭建方法。

技术方案：一种基于Docker的大数据学习平台搭建方法，包括如下步骤：

(1)初始化主机网络环境，创建虚拟网卡并桥接到物理网卡上；

(2)客户端调用脚本创建容器，所述容器具有ubuntu系统最小系统的基础组件，容器设定SSH服务，实现与服务器相同的访问；

(3)创建容器镜像，设置后台守护进程作为容器运行时的依赖进程，所述容器镜像在容器内部进程异常退出后实现自动拉起；

(4)配置容器环境变量实现，包括调用内部脚本读取环境变量实现可配置功能。

进一步的，所述基础组件包括kafka、zookeeper、hadoop、spark、scala、Hbase数据库组件，根据学习目的选择启动方式，并构建大数据学习平台。

更进一步的，步骤(1)所述初始化主机网络环境通过docker的bridge桥接模式，将模拟虚拟网卡桥接到物理网卡上，配置与物理网卡同一网段的网络信息，将docker服务的指定网卡指向新创建的虚拟网卡，新创建的容器设置为客户端直接访问对象。

步骤(2)基于ubuntu基础镜像，包括通过Dockerfile文件编译镜像时增加sshd服务，生成安装sshd服务的镜像。

所述大数据学习平台安装有sshd服务的ubuntu镜像，通过Dockerfile文件编译并增加java、scala、mysql基础组件包，zookeeper、hadoop、spark、scala和Hbase数据库组件，增加组件的安装目录默认用户的.bashrc文件中，增加java、scala和zookeeper等组件的二进制文件路径到PATH环境变量中，形成大数据搭建的基础环境。

步骤(3)包括在容器入口默认启动守护进程，守护进程定义需要监控的进程信息，通过守护进程所具有的进程看门狗，实现进程异常退出自动拉起。