[发明专利]一种用于Hadoop集群自动安装的系统及方法

说明书

本发明提供一种用于Hadoop集群自动安装的系统及方法，该系统包括：DHCP服务器用于分配及管理动态IP；BOOT服务器用于存储操作系统配置模板及Hadoop应用服务配置模板；YUM服务器用于存储操作系统及Hadoop应用服务的安装源文件；物理机节点执行以下步骤：从DHCP服务器获取动态IP；根据一个性化Kickstart安装脚本从YUM服务器上获取相应的安装源文件；根据动态IP、安装源文件在物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据Hadoop应用服务配置模板及个性化Kickstart安装脚本在Hadoop集群安装Hadoop应用服务。

技术领域

本发明是关于大数据技术，具体地，是关于一种用于Hadoop集群自动安装的系统及方法。

背景技术

Hadoop是一个由Apache基金会所开发的能够对大量数据进行分布式处理的软件框架。其在大数据处理中广泛应用，得益于自身在数据提取、变形和加载(ETL)方面的优势：Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储端，如像ETL这样的批处理操作，其结果可以直接走向存储。Hadoop的MapReduce实现了任务的碎片化，并将碎片任务(Map)发送到多个节点上，之后再以数据集的形式加载(Reduce)到数据仓库里。

在Hadoop部署实践中，存在两个方面的问题：1、物理机硬件各类繁多，操作系统配置复杂；2、Hadoop应用服务丰富，集群结构耦合性高。传统模式下，物理机的安装需依赖管理员手工安装，再一台台进行系统配置，这样不仅十分浪费时间，且配置过程复杂操作性风险高。而Hadoop的每个服务都有不同的管理接口，管理员必须了解所有接口才能进行配置服务，其集群结构复杂度较高。为了解决操作系统和Hadoop应用程序自动化安装问题，有必要开发出一套标准化的安装技术来实现Hadoop平台下的物理机集群的快速部署方法。

发明内容

本发明实施例的主要目的在于提供一种用于Hadoop集群自动安装的系统及方法，以解决现有安装模式由于硬件种类繁多，配置复杂导致的费时费力的问题。

为了实现上述目的，本发明实施例提供一种用于Hadoop集群自动安装的系统，所述的系统包括：DHCP服务器、BOOT服务器、YUM服务器、Hadoop集群及物理机节点，其中，所述的DHCP服务器用于分配及管理动态IP；所述的BOOT服务器用于存储操作系统配置模板及Hadoop应用服务配置模板；所述的YUM服务器用于存储操作系统及Hadoop应用服务的安装源文件；所述物理机节点执行以下步骤：从所述DHCP服务器获取所述动态IP；根据一个性化Kickstart安装脚本从所述YUM服务器上获取相应的安装源文件；根据所述动态IP、安装源文件在所述物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据所述Hadoop应用服务配置模板及个性化Kickstart安装脚本在所述Hadoop集群安装Hadoop应用服务。

在一实施例中，在根据所述动态IP、安装源文件在所述物理机节点中安装操作系统之后，所述物理机节点还执行以下步骤：用所述物理机节点的应用IP替换所述动态IP。

在一实施例中，上述的Hadoop应用服务配置模板的种类至少包含：管理节点模板、服务节点模板及应用节点模板。

在一实施例中，上述的个性化Kickstart安装脚本为所述BOOT服务器根据所述Hadoop应用服务配置模板的种类及物理机节点生成的对应于所述种类及物理机节点的安装脚本。

在一实施例中，上述的操作系统配置模板的配置参数至少包含：所述物理机节点的主机号、主机名、集群网络IP地址、操作系统版本号。