[发明专利]大数据计算平台监控系统及方法

摘要

本发明提供了一种大数据计算平台监控系统及其方法，该系统包括：数据采集模块，实时获取和存储计算平台中计算环境的监控指标和计算作业监控的监控指标，并为环境监测模块和作业监控模块开放查询接口；环境监控模块，对计算平台的计算环境进行实时监控，从所述数据采集模块中获取大数据计算平台的计算环境的监控指标，并将这些计算环境的监控指标进行可视化展示；作业监控模块，对计算平台的计算作业进行实时监控，从数据采集模块中获取大数据计算平台的计算作业的监控指标，并将计算作业的监控指标进行可视化展示。本发明可以减少针对大数据计算平台管理操作流程的复杂性，提供智能、直观、易用和快速响应的监控系统。

主权项

1.一种大数据计算平台监控系统，所述监控系统从大数据计算平台获取数据，其中，所述大数据计算平台包含Hadoop计算平台、Storm计算平台和计算平台所属的分布式集群，Hadoop计算平台用于海量数据的离线处理，Storm计算平台用于实时数据的在线处理，两类计算平台所属的分布式集群，由被称作计算节点的机器组成；其特征在于，所述系统包括：数据采集模块，实时获取和存储大数据计算平台中计算环境的监控指标和计算作业监控的监控指标，并为环境监控模块和作业监控模块开放查询接口；环境监控模块，对大数据计算平台的计算环境进行实时监控，从所述数据采集模块中获取大数据计算平台的计算环境的监控指标，并将这些计算环境的监控指标进行可视化展示；作业监控模块，对大数据计算平台的计算作业进行实时监控，从数据采集模块中获取大数据计算平台的计算作业的监控指标，并将计算作业的监控指标进行可视化展示；其中，所述环境监控模块包含计算平台监控模块、机器监控模块、服务监控模块，用于实现对计算环境的监控指标进行监控，具体包括：所述计算平台监控模块用于对每个计算平台的平台信息数据进行监控；所述机器监控模块，监控计算平台中的每个计算节点，监控计算节点关联的监控指标；所述服务监控模块，对计算平台中的服务进行监控，并针对每种服务，监控服务的节点列表；针对服务的节点列表中的每一个节点，所述服务监控模块可配置服务命令在该节点路径，可以启动服务、停止服务和重启服务。