[发明专利]一种大数据集群部署方法、系统、介质及设备

说明书

本申请公开了一种大数据集群部署方法，包括：根据目标用户的需求搭建硬件集群；在硬件集群中建立本地仓库，以存储大数据管理工具；利用大数据管理工具在硬件集群中部署大数据集群。可见，在本申请中，利用大数据管理工具可以自动安装并兼容各种组件的特性来部署大数据集群，从而避免了现有技术当中，通过手工方式部署大数据集群组件较多、版本不兼容，而导致部署大数据集群失败概率较高的问题。显然，通过本申请中的方法，可以大大提升部署大数据集群的成功率。相应的，本申请公开的一种大数据集群部署系统、介质及设备，同样具有上述有益效果。

技术领域

本发明涉及大数据技术领域，特别涉及一种大数据集群部署方法、系统、介质及设备。

背景技术

大数据在人们的生活中发挥着越来越重要的作用。比如，利用大数据搭建的购物平台可以为人们推荐更为适合的产品，利用大数据搭建的交通平台可以更加方便人们的出行等等。但是，如果想要从大数据中获取到更多的数据信息，就必须要对大数据中的隐含信息进行信息挖掘与分析，那么，单纯的几个数据服务器的计算能力已经远远不能满足目前的应用需求。所以，大数据集群成为当下的一个研究热点。

在现有技术当中，一般是通过手工的方式来创建大数据集群，但是，通过手工的方式创建大数据集群，往往需要工作人员对各个组件和集群有较为深刻的理解，并且，当创建的大数据集群中的节点较多时，各个组件的版本冲突问题急剧增加，从而导致部署大数据集群的成功率较低。由此可见，如何提高大数据集群部署的成功率，是本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种大数据集群部署方法、系统、介质及设备，以提高部署大数据集群的成功率。其具体方案如下：

一种大数据集群部署方法，包括：

根据目标用户的需求搭建硬件集群；

在所述硬件集群中建立本地仓库，以存储大数据管理工具；

利用所述大数据管理工具在所述硬件集群中部署大数据集群。

优选的，所述根据目标用户的需求搭建硬件集群的过程，包括：

根据所述目标用户的需求，利用交换机搭建所述硬件集群。

优选的，所述利用交换机搭建所述硬件集群的过程，包括：

利用所述交换机连接目标节点，得到局域网；

在所述局域网中采用master/salve架构搭建所述硬件集群。

优选的，所述在所述局域网中采用master/salve架构搭建所述硬件集群的过程，包括：

在所述局域网中采用所述master/salve架构部署所述目标节点，得到主节点与从节点；

利用Java语言编写所述主节点的主进程，利用Python语言编写所述从节点的从进程，得到所述硬件集群。

优选的，所述利用所述大数据管理工具在所述硬件集群中部署大数据集群的过程，包括：

在所述主节点上部署所述大数据管理工具，并利用所述大数据管理工具在所述硬件集群中部署所述大数据集群。

优选的，所述在所述硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在所述硬件集群的repo上建立所述本地仓库，以存储所述大数据管理工具。

优选的，所述在所述硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在所述硬件集群中建立所述本地仓库，以存储Hadoop和/或Hive和/或HBASE和/或Spark和/或Zookeeper和/或Ambari。