[发明专利]一种Hadoop集群管理方法、系统及平台

说明书

本发明涉及大数据领域，一种Hadoop多集群管理方法，包括：设定访问角色，为访问角色分配至少一个从账号；为从账号分配集群权限，从账号对分配到权限的集群进行操作；配置敏感数据，对集群中涉及的敏感数据进行处理；为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。

技术领域

本发明涉及大数据领域，具体涉及到Hadoop集群管理方法、系统及平台。

背景技术

随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，Hadoop作为解决大数据领域的重要技术手段，目前被广泛应用着。在大型数据应用环境下往往存在一个以上的Hadoop集群，这些集群提供了对海量业务数据的离线处理分析能力。在实际的生产运行过程中，通常涉及到多个Hadoop大数据集群平台，而大数据集群平台的技术决定其安全建设工作的复杂性，安全建设的重要性毋庸置疑。市面上已存在用于管理Hadoop平台，可以实现Hadoop生态系统组件MapReduce,Hive,Hbase及HDFS的可视化管理界面，如Hue，用户可以在Hue提供的管理界面上实现MapReduce任务提交，Hive查询，Hbase表的查看以及HDFS文件的浏览。但是现有的管理平台存在着以下缺点，1、仅支持单个Hadoop集群，无法处理多个Hadoop集群进行管理，更无法对多个集群的跨版本实现自由管控，无法满足当前大数据形势下，多集群的统一管理。2：对于集群中的敏感数据的访问，仅支持对于应用层面的管理，无法实现对于应用中的数据进行管理控制，从而难以对用户的访问行为进行完全掌控，存在数据安全隐患。

发明内容

为克服现有技术中存在的缺陷，本发明提供一种可配置多Hadoop集群以及不同版本Hadoop集群的管理平台。

本发明的技术方案如下：

一种Hadoop多集群管理方法，包括：

设定访问角色，为访问角色分配至少一个从账号；

为从账号分配集群权限，从账号对分配到权限的集群进行操作；

配置敏感数据，对集群中涉及的敏感数据进行处理；

为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。

其中，所述多集群管理方法还包括，对集群配置对应版本依赖的jar包。

其中，所述对集群中涉及的敏感数据进行处理的方式包括：对数据进行过滤或加密。

其中，所述对集群配置对应版本依赖的jar包，还包括：设置自定义类加载器，实现自由加载对应版本依赖的jar包，并使用对应版本依赖的jar包生成对应版本的业务逻辑操作实例，用于打开对应版本的集群。

其中，所述对集群配置对应版本依赖的jar包后还包括，将集群对应的版本依赖的jar包以及集群的类加载器保存到系统缓存中。

其中，所述对集群进行操作前还包括对用户账号进行鉴权认证：利用加载预先配置的keytab路径文件在服务器中进行认证，若认证通过，则对集群进行操作，若认证不通过，不能对集群进行操作。

一种Hadoop多集群管理系统，包括：

访问角色配置模块，用于设定访问角色，为访问角色分配至少一个从账号；

从账号权限分配模块，用于为从账号分配集群权限，对分配到权限的集群进行操作；

敏感数据配置模块，用于配置敏感数据，对集群中涉及的敏感数据进行处理；

用户账号配置模块，用于为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。