[发明专利]kafka集群的topic数据的监控方法及相关设备

说明书

本申请涉及数据处理技术领域，特别是涉及一种kafka集群的topic数据的监控方法及相关设备。kafka集群的topic数据的监控方法包括：访问所有kafka集群，获取所有所述kafka集群中的topic数据；将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储，并以图表的形式显示所述topic数据；对最新存储的所述topic数据进行监测，当最新存储的所述topic数据达到告警阈值，发出告警提示。本技术方案可以同时监控多个kafka集群，topic数据以动态形式呈现，提供了可追溯的历史topic数据。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种kafka集群的topic数据的监控方法及相关设备。

背景技术

随着Kakfa在流处理中的广泛应用，Kafka中可能存在几百上千的topic，kafka集群可能一个也可能是多个，因此，对Kafka中每个topic的数据变化量、消费者的消费进度的监控越来越重要。

目前市面上比较常用的kafka的监控工具主要是KafkaOffsetMonitor和KafkaManager。其中，KafkaOffsetMonitor可以获取每个消费者的对应的topic的变化量、消费进度等相关数据，但是只能监控单个kafka集群，也不能监控未被消费的topic的变化量；KafkaManager虽然可以管理多个集群，但是topic的相关数据是静态的，无法展示历史数据。综上所述，现有的两个监控工具在topic变化量、多集群管理、历史数据存储等方面存在各自不同的缺陷。

发明内容

基于此，有必要针对目前的kafka的监控工具，在topic变化量、多集群管理、历史数据存储等方面存在的技术问题，提供一种kafka集群的topic数据的监控方法及相关设备。

一种kafka集群的topic数据的监控方法，包括：

访问所有kafka集群，获取所有所述kafka集群中的topic数据；

将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储，并以图表的形式显示所述topic数据；

对最新存储的所述topic数据进行监测，当最新存储的所述topic数据达到告警阈值，发出告警提示。

在其中一个可能的实施例中，所述访问所有kafka集群，获取所有所述kafka集群中的topic数据，包括：

从预设的配置中心调取所有所述kafka集群的访问地址和取数时间粒度；

每间隔一所述取数时间粒度，通过所述kafka集群的访问地址访问一次所述kafka集群；

通过每一所述kafka集群自带的管理命令获取每一所述kafka集群中的所述topic数据。

在其中一个可能的实施例中，所述将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储，并以图表的形式显示所述topic数据，包括：

提取每一所述kafka集群的唯一标识；

用所述kafka集群的唯一标识对相应的topic数据进行标注；

建立kafka集群数据表，以所述kafka集群的唯一标识对所述kafka集群数据表命名；

将标注好的topic数据分别存储到对应的所述kafka集群数据表中；

读取所述kafka集群数据表中topic数据，以图表的形式显示topic数据。

在其中一个可能的实施例中，所述对最新存储的所述topic数据进行监测，当最新存储的所述topic数据达到告警阈值，发出告警提示，包括：