[发明专利]大数据平台监控方法、装置及设备、介质

权利要求书

1.一种大数据平台监控方法，应用于终端设备，所述终端设备支持B/S架构的Web客户端，所述大数据平台包括至少一个组件，其特征在于，该方法包括：

采集第一组件的当前状态信息；

获取所述第一组件的历史状态信息；

依据所述当前状态信息和历史状态信息监控所述第一组件当前是否产生异常情况；

当所述第一组件为Kafka集群时，所述方法还包括：

当未成功采集所述当前状态信息时，确定所述Kafka集群产生指定主题的分区无法消费的异常情况，并获取第二组件的连接参数，判断获取的所述连接参数是否大于第三设定值，若是，确定所述第二组件产生已连接端口数量过多的异常情况，其中，所述第二组件具有所述Kafka集群通信所需连接的端口，所述连接参数包括：第二组件当前处于连接状态的端口的数量，或者，之前的指定时刻处于连接状态的端口的数量；

和/或，

当接收到查询指令时，在第三组件中查找所述Kafka集群对应的监控文档中的目标状态信息；所述查询指令是用于指示查询所述Kafka集群对应的监控文档中记录的目标状态信息的指令；当未查找到时，确定所述第三组件产生未能正常查询的异常情况；当查找到时，从所述第三组件中获取关于所述第三组件的分片情况的分片参数，若所述分片参数指示分片异常，确定所述第三组件产生分片异常情况。

2.如权利要求1所述的大数据平台监控方法，其特征在于，所述第一组件为Kafka集群；

所述当前状态信息包括：Kafka集群中指定主题的所有分区当前已消费的第一消费数据量，及Kafka集群中指定主题的所有分区当前的堆积数据量；

所述历史状态信息包括：所述Kafka集群中指定主题的所有分区在之前的指定时间点的已消费的第二消费数据量；

依据所述当前状态信息和历史状态信息监控所述第一组件当前是否产生异常情况，包括：

计算第一消费数据量与第二消费数据量之差得到消费数据量差值；

判断所述消费数据量差值是否小于第一设定值；

若是，确定所述Kafka集群产生所述指定主题的消费回退异常情况；

若否，若所述堆积数据量大于第二设定值，确定所述Kafka集群产生所述指定主题的数据堆积异常情况。

3.如权利要求2所述的大数据平台监控方法，其特征在于，该方法进一步包括：

检查Kafka集群中指定主题是否已选举leader，若否，确定所述Kafka集群产生所述指定主题的主副本未选举的异常情况。

4.如权利要求1所述的大数据平台监控方法，其特征在于，所述第一组件为HBase集群；

所述当前状态信息包括：所述HBase集群所有节点中当前的第一region数量、所有节点中region当前所存储数据的第一数据总量；

所述历史状态信息包括：所述HBase集群所有节点中在之前的指定时间点的第二region数量、所有节点中region在所述指定时间点所存储数据的第二数据总量；

依据所述当前状态信息和历史状态信息监控所述第一组件当前是否产生异常情况，包括：

计算所述第一region数量与第二region数量之差得到region数量差值，判断所述region数量差值是否大于第四设定值，若是，确定所述HBase集群产生region无限分裂的异常情况；

和/或，

计算所述第一数据总量与所述第二数据总量之差得到数据总量差值，判断所述数据总量差值是否小于第五设定值，若是，确定所述HBase集群产生region数据丢失的异常情况。

5.如权利要求4所述的大数据平台监控方法，其特征在于，该方法进一步包括：

采集HBase集群各节点的当前region数量；

计算当前region数量最多的节点与当前region数量最少的节点的region数量之差得到节点region数量差值；

判断节点region数量差值是否大于第六设定值，若是，确定所述HBase集群产生数据倾斜的异常情况。