[发明专利]一种大数据集群资源分配方法及装置

说明书

技术领域

本发明涉及集群管理领域，尤其涉及一种大数据集群资源分配方法及装置。

背景技术

大数据时代带给社会各个层面的变革是深入持久的，在新的形势下资源分配将会发生怎样的变化，大数据又在这一变化中发挥怎样作用，如何利用好大数据让资源分配更优化是中国乃至整个人类社会必须当前面临的问题。

目前，搭建Hadoop的大数据集群组件如HDFS、Yarn、Hive、Hbase等，本身有自己的权限管控方法，难以统一管理和进行资源分配。故如何整合大数据集群组件的认证和授权方法，使用统一的策略进行资源分配是目前亟需解决的技术问题。

发明内容

本发明针对目前需求以及现有技术发展的不足之处，提供一种大数据集群资源分配方法及装置，本发明通过整合大数据集群资源组件的认证和授权，使用统一的策略进行资源分配，实现不同的用户订阅大数据集群资源，达到了分配大数据集群资源的目的。

为了实现上述目的，本发明采用以下的技术方案：

一种大数据集群资源分配方法，包括以下步骤：

管理员通过Kerberos统一管理大数据集群资源组件的认证登录；

管理员通过Apache Ranger实现对大数据集群资源的权限管控；

用户对大数据集群资源进行订阅；

用户获得对订阅的大数据集群资源进行管理的权限；

用户对订阅的大数据集群资源进行管理。

优选地，所述集群为多个搭建Hadoop的服务器。

优选地，所述大数据集群资源组件包括HDFS、YARN、HIVE及Hbase。

优选地，在管理员通过Kerberos统一管理大数据集群资源组件的认证登录之前，还包括：为集群搭建Kerberos。

优选地，在管理员通过Apache Ranger实现对大数据集群资源的权限管控之前，还包括：为集群安装Apache Ranger。

优选地，在用户对大数据集群资源进行订阅之前，还包括：

创建不同用户；

将不同用户的信息同步到Apache Ranger；

创建不同用户对应的大数据集群资源组件。

优选地，用户对订阅的大数据集群资源进行管理，包括：

用户对订阅的大数据集群资源进行读、写和分享管理；

其他用户对该用户分享的大数据集群资源进行读管理。

本发明还提供了基于上述的一种大数据集群资源分配方法的一种大数据集群资源分配装置，包括：

认证登录模块，用于管理员通过Kerberos统一管理大数据集群资源组件的认证登录；

权限管控模块，用于管理员通过Apache Ranger实现对大数据集群资源的权限管控；

订阅模块，用于用户对大数据集群资源进行订阅；

获得管理权限模块，用于用户获得对订阅的大数据集群资源进行管理的权限；

管理模块，用于用户对订阅的大数据集群资源进行管理。

优选地，还包括：

搭建模块，用于为集群搭建Kerberos。

优选地，还包括：

安装模块，用于为集群安装Apache Ranger。

优选地，还包括：

第一创建模块，用于创建不同用户。

优选地，还包括：

同步模块，用于将不同用户的信息同步到Apache Ranger。

优选地，还包括：

第二创建模块，用于创建不同用户对应的大数据集群资源组件。

优选地，所述管理模块进一步包括：

管理子模块，用于用户对订阅的大数据集群资源进行读、写和分享管理；

读管理模块，用于其他用户对该用户分享的大数据集群资源进行读管理。

本发明的有益效果：

本发明提供一种大数据集群资源分配方法及装置，通过Kerberos统一管理大数据集群资源组件的认证登录，并通过Apache Ranger授权实现对大数据集群资源的权限管控，实现不同的用户订阅大数据集群资源，并对订阅的大数据资源进行管理，达到分配大数据集群资源的目的。

用户可以根据自己的喜好选择订阅的大数据集群资源，用户可以对自己订阅的资源进行读、写和分享管理，其他用户可以对被分享的大数据集群资源进行读管理。

附图说明

图1为本发明一种大数据集群资源分配方法的流程示意图之一。

图2为本发明一种大数据集群资源分配装置的结构示意图之一。