[发明专利]一种基于大数据可视化监控平台的数据抽取方法

摘要

本发明具体涉及一种对可视化监控平台的数据抽取方法，包括：S1：对JEE中间件系统运行信息抽取。S2：Zabbix环境采集的各类软硬件运行信息：S3：对App客户端状态信息的抽取，通过在客户端App中代码埋点的方式来完成。S4：服务接口方法调用信息：采用在服务端代码埋点的方式采集服务执行情况信息的抽取。（1）本方法在对JEE中间件系统运行信息抽取采用组件dropwizard.metrics定时生成日志文件的方式，能够兼容不同的厂商的标准和不同的版本。本方法使用metricbeat采集程序机器和中间件信息，定时向Redis发送信息，logstash处理消息后存储数据，采集速度快，缓解处理器的运行压力。

主权项

1.一种基于大数据可视化监控平台的数据抽取方法，其特征在于：包括：S1：对JEE中间件系统运行信息抽取：采用组件dropwizard.metrics定时生成日志文件的方式进行抽取；S2：Zabbix环境采集的各类软硬件运行信息：利用Metricbeat软件对服务器的系统状态信息、Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、Zookeeper进行数据的采集；所述系统状态信息包括服务器硬件、CPU、内存、磁盘、文件系统、网络；所述Apache信息包括连接数、CPU使用情况、负载情况、请求响应时长、总连接数，请求字节数、工作线程情况；所述HAProxy对连接数，内存、CPU、管理、Session数、连接数、请求字节数、请求状态、响应状态等实时状态信息；所述MongoDB对asserts、后台刷新、连接数、堆使用率、日志、内存、网络；所述MySQL对状态、binlog、字节数、sql命令执行个数分类统计、连接数、最大使用连接数、延迟、打开表、流、文件数、线程使用情况；所述Nginx主要对stubstatus进行采集，包括accepts、active、current、dropped、handled、hostname、reading、requests、waiting、writing；所述PostgreSQL对sql语句、缓存、检查点、数据库读写、sql命令执行个数分类统计、冲突、死锁、事务；所述Redis对客户端、集群状态、CPU、内存、持久化、复制、服务端的配置信息、命令处理数、连接数、keys总数、网络进出流量、发布/订阅统计、同步；所述Zookeeper对数据大小、临时数据个数、活动连接数、未完成的请求数、包发送和接收数；S3：App客户端信息抽取：当安装了指定App应用的移动终端，其各种运行及状态信息的抽取，包括移动设备的各种型号、内存、操作系统、卡槽信息、SIM卡信息内容，对App客户端状态信息的抽取，通过在客户端App中代码埋点的方式来完成；S4：服务接口方法调用信息：采用在服务端代码埋点的方式采集服务执行情况信息的抽取。