[发明专利]一种基于大数据可视化监控平台的数据抽取方法

说明书

本发明具体涉及一种对可视化监控平台的数据抽取方法，包括：S1：对JEE中间件系统运行信息抽取。S2：Zabbix环境采集的各类软硬件运行信息：S3：对App客户端状态信息的抽取，通过在客户端App中代码埋点的方式来完成。S4：服务接口方法调用信息：采用在服务端代码埋点的方式采集服务执行情况信息的抽取。（1）本方法在对JEE中间件系统运行信息抽取采用组件dropwizard.metrics定时生成日志文件的方式，能够兼容不同的厂商的标准和不同的版本。本方法使用metricbeat采集程序机器和中间件信息，定时向Redis发送信息，logstash处理消息后存储数据，采集速度快，缓解处理器的运行压力。

技术领域

本发明属于电信运营商电子渠道与互联网通信软件领域，具体涉及一种基于大数据可视化监控平台的数据抽取方法。

背景技术

可视化监控平台是通过系统的监控日志，分析并展现当前系统各种状态的平台环境，通过从系统的运行节点获取的日志信息，并对其进行收集清洗、汇总并转换后，将这些信息存储在分布式的搜索引擎环境中，然后通过对这些信息进行分析，最终以图表等方式展现或通知给运维以及系统开发人员，从而为提升系统稳定性、高可用性等指标提供有效的参考依据。在监控过程中首先涉及到对数据的抽取，完整准确全面的数据抽取是监控的基础。因此需要一种能针对监控平台数据抽取方法。

发明内容

1、所要解决的技术问题：

本发明提供一种基于大数据可视化监控平台的数据抽取方法。所述数据抽取又称为数据收集，是可视化监控平台中，用于从最终监控目标点获取原始状态及监控信息的环节，该环节通过使用第三方监控工具以及主动埋点采集相结合的方式，将监控节点的状态以及各种运行信息记录到相应结构的监控日志中，从而完成监控信息抽取的过程。

2、技术方案：

一种基于大数据可视化监控平台的数据抽取方法，其特征在于：包括：

S1：对JEE中间件系统运行信息抽取：采用组件dropwizard.metrics定时生成日志文件的方式进行抽取。常用的JEE中间件包括：Oracle Weblogic、IBM Websphere和ApacheTomcat等。一般采取的收集的方式主要是采用各厂商提供的Mbean来获取，但是由于各厂商的标准和版本问题，这样可能需要针对不同服务器和不同的版本写不同的针对，所以本方法采用能够兼容不同中间件的组件dropwizard.metrics定时生成日志文件的方式。