[发明专利]一种大数据集群管理方法和装置

说明书

本申请提供了一种大数据集群管理方法和装置，应用于大数据集群中安装有zookeeper的任一集群节点上，所述方法包括：第一集群节点选举临时主节点；所述第一集群节点被选为临时主节点时，确定在zookeeper中是否存在cluster节点；如果是，则使用zookeeper中的集群信息管理cluster节点单元存储并管理所述大数据集群的集群服务数据；否则，在zookeeper中创建cluster节点单元，使用该cluster节点单元存储并管理所述大数据集群的集群服务数据。该方法能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。

技术领域

本发明涉及计算机技术领域，特别涉及一种大数据集群管理方法和装置。

背景技术

现有管理大数据集群的方法应用在包括由WEB端、Server端和多Agent端构成的分布式架构，Java服务器由Server和多个Agent实现，由Server端进行统一的管理，并提供基于Ember.is/Angular JS的web端可视化操作。

上述管理大数据集群的方法无法解决主节点单点故障的问题，当Server端发生宕机，整个集群管理就会瘫痪。

发明内容

有鉴于此，本申请提供一种大数据集群管理方法和装置，能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种大数据集群管理方法，应用于大数据集群中安装有分布式应用程序协调服务zookeeper的任一集群节点上，所述方法包括：

第一集群节点选举临时主节点；

当所述第一集群节点被选为临时主节点时，确定在zookeeper中是否存在集群信息管理cluster节点单元；

如果是，则使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；

否则，在zookeeper中创建cluster节点单元，使用该cluster节点单元存储并管理所述大数据集群的集群服务数据。

一种大数据集群管理装置，应用于大数据集群中安装有分布式应用程序协调服务zookeeper的任一集群节点上，所述装置包括：选举单元、确定单元和处理单元；

所述选举单元，用于选举临时主节点；

所述确定单元，用于当本单元所在集群节点被选为临时主节点时，确定在zookeeper中是否存在集群信息管理cluster节点单元；

所述处理单元，用于当所述确定单元确定在zookeeper中存在cluster节点单元时，使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；否则，在zookeeper中创建cluster节点单元，使用该cluster节点存储并管理所述大数据集群的集群服务数据。

一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行所述大数据集群管理方法的步骤。

一种电子设备，包括所述非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。

由上面的技术方案可知，本申请中无论设备初始启动，或者临时主节点不可用，均会通过选举确定临时主节点，由首个临时主节点在zookeeper中创建cluster节点单元之后，均有系统中的当前临时主节点使用所述cluster节点单元存储并统一管理集群中的服务数据。该方案中集群的服务数据由zookeeper中的cluster节点单元统一管理，不会因为某个集群节点不可用导致集群中的服务数据丢失；能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。

附图说明