[发明专利]数据集群的部署方法、装置及系统

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种数据集群的部署方法、装置及系统。

背景技术

随着互联网的发展，为了满足用户对海量数据的存储需求，通常会使用数据集群系统存储海量数据。例如，使用Apache开发的分布式系统基础架构，即海杜普(Hadoop)系统，存储海量数据。但是，很多数据集群系统往往存在部署和管理复杂的问题，下面以Hadoop系统为例进行说明。

Hadoop系统是一个能够对大量数据进行分布式处理的开源软件框架，该系统包括分布式文件系统(Hadoop Distributed File System，简称为HDFS)和分布式数据库(Hbase)，该系统的存储核心是分布式文件系统(HDFS)。HDFS适合运行在通用的硬件上，并且需要部署在大量机器上，以此来支持大规模的数据集和高吞吐量的数据访问。HDFS通过可以分布在不同机器上的多个副本数来实现高容错性。

另外，Hadoop系统还包括很多其他组件，用来实现资源调度、数据存储以及和外部的连接，如YARN、HBASE、zookeeper、HIVE、Impala、MapReduce、Oozie、Sqoop、Flume等，Hadoop系统包括的组件如图1所示。

Hadoop集群功能强大，应用广泛，但是由于其系统复杂，Hadoop集群的部署和管理非常繁杂，动辄需要数十台服务器的安装部署，十分耗费精力，如何快速自动化地构建可用的Hadoop集群并管理监控其运行状态成为值得研究的重要课题。

针对相关技术中，数据集群的部署和管理较为复杂的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种数据集群的部署方法、装置及系统，以至少解决相关技术中数据集群的部署和管理较为复杂的问题。

根据本发明的一个方面，提供了一种数据集群的部署方法，包括：获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。

进一步地，获取用于数据集群系统部署的第一配置信息包括：接收用户定义的第一配置文件；根据第一配置文件获取第一配置信息。

进一步地，根据第一配置文件获取第一配置信息包括：解析第一配置文件，得到与数据集群系统部署相关的第一配置参数；根据第一配置参数计算第一配置信息。

进一步地，第一配置文件中还包括用于数据集群系统部署的组件的信息，在向云平台发送携带有第一配置信息的第一部署请求之后，还包括：检测硬件资源是否创建成功；在硬件资源创建成功的情况下，根据用于数据集群系统部署的组件的信息生成插件。

进一步地，根据用于数据集群系统部署的组件的信息生成插件包括：获取第一数据集群系统版本文件信息，其中，第一数据集群系统版本文件信息为所部署的数据集群系统的版本文件的信息；根据用于数据集群系统部署的组件的信息和第一数据集群系统版本文件信息对应的版本文件，生成插件。

进一步地，插件为具备组件功能的插件。

进一步地，插件为多个插件，多个插件以层状结构部署。

进一步地，在根据用于数据集群系统部署的组件的信息生成插件之后，还包括：运行插件，以实现以下过程至少之一：网络环境配置；组件资源分配；时钟同步；将组件配置到所部署的数据集群系统的目标节点。

进一步地，在运行插件之后，还包括：监测数据集群系统的运行环境，其中，运行环境包括资源占用状况，在监测到发生资源占用状况异常的情况下，自动对数据集群系统进行调优；和/或，监测数据集群系统的运行状态，在发生数据集群系统的运行状态异常的情况下，自动对数据集群系统进行调优。

进一步地，该方法还包括：接收用于数据集群系统升级的第二配置文件；解析第二配置文件，得到与数据集群系统升级相关的第二配置参数；根据第二配置参数判断数据集群系统升级是否需要增加硬件资源和/或配置；在需要增加硬件资源和/或配置的情况下，向云平台发送携带有第二配置参数的第二部署请求，其中，第二部署请求用于请求云平台根据第二配置参数创建数据集群系统升级所需的硬件资源和/或配置。