[发明专利]基于流数据处理的大数据平台监控系统

权利要求书

1.一种基于流数据处理的大数据平台监控系统，其特征在于，包括：

数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；

接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；

存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；

数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示；

所述数据收集层具体用于：

将大数据平台各服务的日志数据由各服务按照设计的标准格式进行收集，然后汇总上报到Kafka中的日志Topic中；服务及主机的指标数据通过命令获取、日志数据提取、或者调用服务接口三种方式之一获取后上报到Kafka中对应的原始数据Topic中；服务及主机可用性数据通过脚本抓取后直接入MySQL的主机表和服务组件表；配置信息通过人工收集后直接入MySQL的配置表中，并在系统页面上提供对配置信息的增删改查；

所述接入计算层具体用于：

对于Kafka中日志Topic的数据直接由Flume消费出数据后持久化到ElasticSearch中对应的日志Index；对于Kafka中的原始指标Topic的数据，由Storm消费出数据后进行数据解析与格式标准化之后返回到实时指标的Topic；对于Kafka中的实时指标Topic中的指标数据，由Storm的告警计算任务消费后与MySQL中的配置信息结合计算出告警信息并持久化到MySQL的指标表中，同时给责任人发送告警邮件或短信；对于Kafka中的实时指标Topic中的主机数据，由Storm的主机指标计算任务消费后经过计算更新到MySQL的的主机表中；对于Kafka中的实时指标Topic中的服务数据，由Storm的服务指标计算任务消费后经过计算存储到MySQL的指标表中；同时对于Kafka中的实时指标Topic中的数据按照分钟级、小时级、天级依次进行汇聚后返回到Kafka中对应的分钟级Topic、小时级Topic、天级Topic中，最后将各个Topic的中的数据由Flume消费出后存储到ES中对应的Index中，供上层数据展示检索查询使用。

2.如权利要求1所述的系统，其特征在于，所述数据展示层具体用于：对于日志类型的数据展示，直接根据日志类型和时间区间从ES中检索查询，并且支持根据日志中的字段类型和字段值进行筛选查询；对于历史类型的数据展示，根据时间区间来查询不同粒度的历史数据；对于实时类型的数据展示，从主机维度、服务维度和业务维度进行展示并支持筛选查询，实时类型的指标和告警数据展示从MySQL中查询。

3.如权利要求1所述的系统，其特征在于，数据大平台的服务具体包括：HDFS以及Hbase。

4.如权利要求1所述的系统，其特征在于，服务及主机可用性数据具体包括：良好、离线、故障、以及维护状态的数据。