[发明专利]基于流数据处理的大数据平台监控系统

说明书

本发明公开了一种基于流数据处理的大数据平台监控系统，所述系统包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。

技术领域

本发明涉及计算机领域，尤其涉及一种基于流数据处理的大数据平台监控系统。

背景技术

目前，公知的大数据平台监控系统的实现方式基本上都通过调用大数据平台各个服务组件所提供的的JMX和HTTP监控接口所实现。传统的基于JMX和HTTP监控接口所实现的监控系统具有如下的缺陷：

1.系统的可靠性和实时性差，对底层服务有影响。系统的每一次监控都通过大数据平台提供的监控接口来获取可能会受到网络等因素而导致查询响应慢，同时当系统访问量很大时会导致底层大数据平台的各个服务组件的压力增大。

2.系统不支持对于大数据平台的历史监控数据进行查询。由于系统的每一次监控都直接调用平台提供的接口，所以不会记录平台的历史监测数据。

3.系统不支持告警，或者告警发现不及时。目前的监控系统的告警实现是在其获取平台服务各项数据时计算告警，当不获取数据时则无法触发告警。

4.系统更多的关注大数据平台各个服务指标数据的监控，而不关注对平台服务日志和平台服务所在主机的监控。

5.系统的开放性不好。系统的所有数据都只可以供自身使用，而不能供其他第三方系统使用。

发明内容

本发明实施例提供一种基于流数据处理的大数据平台监控系统，用以解决现有技术中的上述问题。

本发明实施例提供一种基于流数据处理的大数据平台监控系统，包括：

数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；

接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；

存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；

数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。

优选地，所述数据收集层具体用于：

将大数据平台各服务的日志数据由各服务按照设计的标准格式进行收集，然后汇总上报到Kafka中的日志Topic中；服务及主机的指标数据通过命令获取、日志数据提取、或者调用服务接口三种方式之一获取后上报到Kafka中对应的原始数据Topic中；服务及主机可用性数据通过脚本抓取后直接入MySQL的主机表和服务组件表；配置信息通过人工收集后直接入MySQL的配置表中，并在系统页面上提供对配置信息的增删改查。

优选地，所述接入计算层具体用于：