[发明专利]大数据平台监控方法、装置及设备、介质

说明书

本发明提供一种大数据平台监控方法、装置及设备、介质，所述大数据平台包括至少一个组件，该方法包括：采集第一组件的当前状态信息；获取所述第一组件的历史状态信息；依据所述当前状态信息和历史状态信息监控所述第一组件当前是否产生异常情况。

技术领域

本发明涉及大数据技术领域，尤其涉及的是一种大数据平台监控方法、装置及设备、介质。

背景技术

随着大数据时代的发展，各行各业每天都在产生数量巨大的数据碎片，大数据需要采用分布式计算架构的大数据平台来进行处理。大数据平台可实现海量数据的数据整合、数据处理、数据存储、数据分析、可视化等功能，大数据平台比如包括数据仓库平台、基于hadoop的大数据平台等。由于大数据平台中的组件在运行时，可能会出现异常情况，因而需要对运行中的大数据平台进行监控。

相关的大数据平台监控方式中，通常是从大数据平台中获取某个组件的实时运行状态，依据单一的实时运行状态对该组件的运行状态进行监控，以Hadoop大数据平台为例，通过JMX接口组件拉取关于HBase组件的实时监控信息来监控HBase组件的运行状态。

上述方式中，由于仅通过组件的实时运行状态信息来监控该组件的运行情况，而某个时刻下的运行状态正常并不能说明该组件是正常运行的，组件在已经出现一些隐患的情况下，也可以继续运行且从实时运行状态信息上看不出问题，如果不及时发现这些隐患问题，可能会造成严重的后果。

发明内容

有鉴于此，本发明提供一种大数据平台监控方法、装置及设备、介质，可及时监控出仅依靠组件的实时运行状态信息发现不了的异常情况。

本发明第一方面提供一种大数据平台监控方法，所述大数据平台包括至少一个组件，该方法包括：

采集第一组件的当前状态信息；

获取所述第一组件的历史状态信息；

依据所述当前状态信息和历史状态信息监控所述第一组件当前是否产生异常情况。

根据本发明的一个实施例，所述第一组件为Kafka集群；

所述当前状态信息包括：Kafka集群中指定主题的所有分区当前已消费的第一消费数据量，及Kafka集群中指定主题的所有分区当前的堆积数据量；

所述历史状态信息包括：所述Kafka集群中指定主题的所有分区在之前的指定时间点的已消费的第二消费数据量；

依据所述当前状态信息和历史状态信息监控所述指定组件当前是否产生异常情况，包括：

计算第一消费数据量与第二消费数据量之差得到消费数据量差值；

判断所述消费数据量差值是否小于第一设定值；

若是，确定所述Kafka集群产生所述指定主题的消费回退异常情况；

若否，若所述堆积数据量大于第二设定值，确定所述Kafka集群产生所述指定主题的数据堆积异常情况。

根据本发明的一个实施例，该方法进一步包括：

检查Kafka集群中指定主题是否已选举leader，若否，确定所述Kafka集群产生所述指定主题的主副本未选举的异常情况。

根据本发明的一个实施例，所述第一组件为Kafka集群；该方法进一步包括：

当未成功采集所述当前状态信息时，确定所述Kafka集群产生指定主题的分区无法消费的异常情况，并获取第二组件的连接参数，判断获取的所述连接参数是否大于第三设定值，若是，确定所述第二组件产生已连接端口数量过多的异常情况，其中，所述第二组件具有所述Kafka集群通信所需连接的端口，所述连接参数包括：第二组件当前处于连接状态的端口的数量，或者，之前的指定时刻处于连接状态的端口的数量；