[发明专利]一种kafka集群运行状态的监控方法及装置

说明书

本申请实施例公开了一种kafka集群运行状态的监控方法及装置。所述方法包括：基于kafka集群的JMX端口，获取所述kafka集群内的多个维度下的集群数据；根据预先配置的监控项，对所述多个维度下的集群数据进行聚合处理，生成监控项的聚合数据；基于监控项的聚合数据，监控所述kafka集群的运行状态。本申请实施例可以实时监控kafka集群的运行状态，灵活性较强。

技术领域

本申请涉及集群管理技术领域，特别是涉及一种kafka集群运行状态的监控方法及装置。

背景技术

目前在消息队列中间件领域有多种开源软件，如rabbitMQ、rocketMQ、kafka等，各自都有着广泛的应用。kafka受到青睐的原因有以下几条：磁盘存储、积压能力强、稳定性高、方便的回溯消费等。Kafka在运行过程中会产生各种类型的问题，需要使用者及时发现并预防带来严重后果，这些运行指标可以通过JMX端口获取。

然而kafka提供的运行指标过于繁多，且类别非常复杂，在实现kafka集群监控告警系统的过程中，会发现难以抉择关键指标、无法归类进行统一的数据收集等问题。如果不对kafka繁多的监控指标、监控指标的聚合计算方式进行归类，则需要扩展新的监控项目时只能新写监控代码，使得监控系统的灵活性大大受限。

发明内容

本申请提供一种kafka集群运行状态的监控方法及装置，以解决现有技术中扩展新的监控项目时智能新写监控代码，使得监控系统的灵活性大大受限的问题。

为了解决上述问题，本申请实施例是这样实现的：

第一方面，本申请实施例提供了一种kafka集群运行状态的监控方法，包括：

基于kafka集群的JMX端口，获取所述kafka集群内的多个维度下的集群数据；

根据预先配置的监控项，对所述多个维度下的集群数据进行聚合处理，生成监控项的聚合数据；

基于监控项的聚合数据，监控所述kafka集群的运行状态。

可选地，所述多个维度包括：服务器节点维度、主题维度、分区维度和主分区维度，

所述基于kafka集群的JMX端口，获取所述kafka集群内的多个维度下的集群数据，包括：

基于所述JMX端口，获取所述kafka集群的在所述服务器节点维度下的节点指标数据；

获取所述kafka集群的在所述主题维度下的服务器节点上的每个主题的主题指标数据；

获取所述kafka集群在所述分区维度下的服务器节点上的每个主题的每个分区的分区指标数据；

获取所述kafka集群在所述主分区维度下的分区指标数据中的主分区对应的主分区指标数据。

可选地，所述根据预先配置的监控项，对所述多个维度下的集群数据进行聚合处理，生成监控项的聚合数据，包括：

在所述监控项为常规监控项时，将所述多个维度下的集群数据进行聚合处理，生成所述常规监控项的聚合数据；

在所述监控项为全部分区监控项时，将每个主题的每个分区的分区指标数据进行加和聚合处理，生成所述全部分区监控项的聚合数据；

在所述监控项为节点主题监控项时，将每个服务器节点的全部主题的分区指标数据进行加和汇总处理，生成所述节点主题监控项的聚合数据；

在所述监控项为全部节点监控项时，将所有服务器节点的节点指标数据进行汇总处理，生成所述全部节点监控项的聚合数据；

在所述监控项为主题监控项时，将隶属于所有主题的分区指标数据进行汇总处理，生成所述主体监控项的聚合数据；