[发明专利]大数据任务状态的监控方法及装置

说明书

本申请提供了一种大数据任务状态的监控方法及装置，该方法包括：调度预先配置的任务运行监控表；对任务运行监控表中的每一个大数据任务的运行状态实时进行监控；针对每一个大数据任务，依据监控到的大数据任务在运行过程中产生的运行数据，判断大数据任务的运行周期是否大于自身对应的告警阈值；若判断出大数据任务的运行周期不大于自身对应的告警阈值，则确定大数据任务的运行状态为正常状态，并依据大数据任务对应的运行数据，更新任务运行监控表中配置的大数据任务的更新时间和运行时长；若判断出大数据任务的运行周期大于自身对应的告警阈值，则确定大数据任务的运行状态为异常状态，并生成告警信息。

技术领域

本发明涉及大数据技术领域，尤其涉及到一种大数据任务状态的监控方法及装置。

背景技术

随着科学技术的不断进步，大数据技术被越来越多的应用在我们生活中的诸多领域。而在大数据任务在持续运行过程中，通常需要伴随大量的监控需求，以使得大数据任务能平稳、无异常的进行。

然现阶段，大数据任务的生产环境中，仍缺少对任务的运行状态进行监控和调节的方法，通常需要运维人员利用相关的管理视图或排除命令对大数据任务进行管理，这种方式效率低下，且往往无法及时发现数据异常并针对异常进行告警。

发明内容

有鉴于此，本申请提供了一种大数据任务状态的监控方法及装置，以向用户提供一种实时监控大数据任务运行状态的服务。

为实现上述目的，本申请实施例提供如下技术方案：

本申请第一方面提供了一种大数据任务状态的监控方法，包括：

调度预先配置的任务运行监控表；其中，所述任务运行监控表中预先配置了每一个所述大数据任务的基本任务信息和告警阈值；所述基本任务信息中包括初始更新时间和初始运行时长；

对所述任务运行监控表中的每一个大数据任务的运行状态实时进行监控；

针对每一个所述大数据任务，依据监控到的所述大数据任务在运行过程中产生的运行数据，判断所述大数据任务的运行周期是否大于自身对应的告警阈值；

若判断出所述大数据任务的运行周期不大于自身对应的告警阈值，则确定所述大数据任务的运行状态为正常状态，并依据所述大数据任务对应的运行数据，更新所述任务运行监控表中配置的所述大数据任务的更新时间和运行时长；

若判断出所述大数据任务的运行周期大于自身对应的告警阈值，则确定所述大数据任务的运行状态为异常状态，并生成告警信息。

可选的，所述任务运行监控表中预先配置了每一个大数据任务对应的监控方式，所述对所述任务运行监控表中的每一个大数据任务的运行状态实时进行监控，包括：

针对每一个大数据任务，在所述任务运行监控表中查询所述大数据任务对应的监控方式；

依据所述大数据任务对应的监控方式对所述大数据任务的运行状态实时进行监控。

可选的，所述判断所述大数据任务的运行周期是否大于自身对应的告警阈值，包括：

实时监测所述大数据任务的累计运行时长是否大于所述告警阈值；

若所述累计运行时长大于所述告警阈值，则确定所述大数据任务的运行周期大于自身对应的告警阈值；

若所述累计运行时长不大于所述告警阈值，则确定所述大数据任务的运行周期不大于自身对应的告警阈值。

可选的，所述依据所述大数据任务对应的运行数据，更新所述任务运行监控表中配置的所述大数据任务的更新时间和运行时长，包括：