[发明专利]一种kafka集群运行状态的监控方法及装置

权利要求书

1.一种kafka集群运行状态的监控方法，其特征在于，包括：

基于kafka集群的JMX端口，获取所述kafka集群内的多个维度下的集群数据；

根据预先配置的监控项，对所述多个维度下的集群数据进行聚合处理，生成监控项的聚合数据；

基于监控项的聚合数据，监控所述kafka集群的运行状态。

2.根据权利要求1所述的方法，其特征在于，所述多个维度包括：服务器节点维度、主题维度、分区维度和主分区维度，

所述基于kafka集群的JMX端口，获取所述kafka集群内的多个维度下的集群数据，包括：

基于所述JMX端口，获取所述kafka集群的在所述服务器节点维度下的节点指标数据；

获取所述kafka集群的在所述主题维度下的服务器节点上的每个主题的主题指标数据；

获取所述kafka集群在所述分区维度下的服务器节点上的每个主题的每个分区的分区指标数据；

获取所述kafka集群在所述主分区维度下的分区指标数据中的主分区对应的主分区指标数据。

3.根据权利要求2所述的方法，其特征在于，所述根据预先配置的监控项，对所述多个维度下的集群数据进行聚合处理，生成监控项的聚合数据，包括：

在所述监控项为常规监控项时，将所述多个维度下的集群数据进行聚合处理，生成所述常规监控项的聚合数据；

在所述监控项为全部分区监控项时，将每个主题的每个分区的分区指标数据进行加和聚合处理，生成所述全部分区监控项的聚合数据；

在所述监控项为节点主题监控项时，将每个服务器节点的全部主题的分区指标数据进行加和汇总处理，生成所述节点主题监控项的聚合数据；

在所述监控项为全部节点监控项时，将所有服务器节点的节点指标数据进行汇总处理，生成所述全部节点监控项的聚合数据；

在所述监控项为主题监控项时，将隶属于所有主题的分区指标数据进行汇总处理，生成所述主体监控项的聚合数据；

在所述监控项为节点加和监控项时，将所有服务器节点的节点指标数据进行汇总加和处理，生成所述节点加和监控项的聚合数据。

4.根据权利要求1所述的方法，其特征在于，在所述根据预先配置的监控项，对所述多个维度下的集群数据进行聚合处理，生成监控项的聚合数据之后，还包括：

将所述聚合数据保存至所述监控项对应的存储空间内。

5.根据权利要求1所述的方法，其特征在于，所述基于监控项的聚合数据，监控所述kafka集群的运行状态，包括：

基于所述聚合数据，获取所述kafka集群对应的消费位移信息和高水位信息；

基于所述消费位移信息和所述高水位信息，确定所述kafka集群的消息积压信息；

根据所述消息积压信息，确定所述kafka集群的运行状态。

6.一种kafka集群运行状态的监控装置，其特征在于，包括：

集群数据获取模块，用于基于kafka集群的JMX端口，获取所述kafka集群内的多个维度下的集群数据；

聚合数据生成模块，用于根据预先配置的监控项，对所述多个维度下的集群数据进行聚合处理，生成监控项的聚合数据；

运行状态监控模块，用于基于监控项的聚合数据，监控所述kafka集群的运行状态。

7.根据权利要求6所述的装置，其特征在于，所述多个维度包括：服务器节点维度、主题维度、分区维度和主分区维度，

所述集群数据获取模块包括：

第一指标数据获取单元，用于基于所述JMX端口，获取所述kafka集群的在所述服务器节点维度下的节点指标数据；

第二指标数据获取单元，用于获取所述kafka集群的在所述主题维度下的服务器节点上的每个主题的主题指标数据；

第三指标数据获取单元，用于获取所述kafka集群在所述分区维度下的服务器节点上的每个主题的每个分区的分区指标数据；

第四指标数据获取单元，用于获取所述kafka集群在所述主分区维度下的分区指标数据中的主分区对应的主分区指标数据。