[发明专利]元数据管理系统、用户集群创建方法、装置、设备和介质

说明书

本申请实施例公开了一种元数据管理系统、用户集群创建方法、装置、设备和介质，用以实现用户集群中元数据的持久化保存，同时实现单个用户集群中计算与存储分离、同一用户创建的多个用户集群之间元数据共享。所述元数据管理系统，包括：多个用户集群；元数据数据库集群，独立于所述多个用户集群部署，并与所述多个用户集群进行通信，用于存储所述多个用户集群的元数据；元数据管理平台，与所述元数据数据库集群进行通信，用于管理所述多个用户集群的元数据。

技术领域

本申请涉及计算机技术领域，尤其涉及一种元数据管理系统、用户集群创建方法、装置、设备和介质。

背景技术

海杜普(Hadoop)是一种分布式大数据开发平台，如图1所示，其由Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)、MapReduce、HBase、Pig、Hive、Sqoop和ZooKeeper等成员组成。其中，HDFS具有高容错性的特点，是适合超大数据集的应用程序；MapReduce是一种编程模型，用于大规模数据集的并行运算；HBase是一个开源的基于列存储模型的分布式数据库；Pig是一个基于Hadoop的大规模数据分析平台，为复杂的海量数据并行计算提供简单的操作和编程接口；Hive是基于Hadoop的工具，用于提供完整的SQL查询，并可以将SQL语句转换为MapReduce任务进行运行；Sqoop是一种开源工具，主要用于在Hive与数据库之间进行数据传递；ZooKeeper是高效的、可拓展的协调系统，用于存储和协调关键共享状态。

在计算Hadoop作业过程中，需要对数据文件进行读写操作，这些数据文件通常存储在HDFS中，这些数据文件的描述信息通过Hive的元存储(metastore)服务管理并记录在元数据库中。Hadoop作业运行期间通过与metastore服务进行交互，获取数据文件的描述信息。如图2所示，Hadoop作业运行期间，Hadoop服务与metastore服务进行交互，从元数据库中获取数据文件的描述信息。

目前，用户集群的metastore服务和元数据存储所使用的元数据库，都是在用户集群的内部环境中。每个集群有自己的元数据库，且各个集群的元数据库是相互独立的。举例来说，如图3所示，用户A创建有用户集群1和用户集群2，用户集群1的集群内部包括元数据库1，用户集群1中数据文件的描述信息存储在元数据库1中，用户集群2的集群内部包括元数据库2，用户集群2中数据文件的描述信息存储在元数据库2中，元数据库1与元数据库2相互独立。用户B创建有用户集群3，用户集群3的集群内部包括元数据库3，用户集群3中数据文件的描述信息存储在元数据库3中，元数据库3与元数据库1、元数据库2相互独立。

上述元数据管理方案，对于单个Hadoop用户集群，是没有问题的，但是这种元数据管理方案并不能满足弹性Hadoop云平台的需求。具体来说，弹性Hadoop云平台提供弹性的按需服务，用户可以随时创建用户集群进行计算，并在计算完成之后释放创建的用户集群。在弹性Hadoop云平台中，若采用上述元数据管理方案，则用户集群中的元数据无法进行持久化保存，而且用户集群的元数据存储在用户集群内部，未实现计算和存储分离，不利于同一个用户在多个用户集群之间进行元数据共享。

申请内容

本申请实施例提供了一种元数据管理系统、用户集群创建方法、装置、设备和计算机可读存储介质，用以实现用户集群中元数据的持久化保存，同时实现单个用户集群中计算与存储分离、同一用户创建的多个用户集群之间元数据共享。

根据本申请实施例的第一方面，提供一种元数据管理系统，包括：

多个用户集群；

元数据数据库集群，独立于所述多个用户集群部署，并与所述多个用户集群进行通信，用于存储所述多个用户集群的元数据；

元数据管理平台，与所述元数据数据库集群进行通信，用于管理所述多个用户集群的元数据。