[发明专利]一种处理监控大数据的实时流计算监控系统及方法在审
| 申请号： | 201910042659.6 | 申请日： | 2019-01-17 |
| 公开（公告）号： | CN109800129A | 公开（公告）日： | 2019-05-24 |
| 发明（设计）人： | 刘桂海;陈忠强;黄伟;鞠强;魏亮;周国庆 | 申请（专利权）人： | 青岛特锐德电气股份有限公司;青岛特来电新能源有限公司 |
| 主分类号： | G06F11/30 | 分类号： | G06F11/30;G06F11/32 |
| 代理公司： | 青岛华慧泽专利代理事务所(普通合伙) 37247 | 代理人： | 刘娜 |
| 地址： | 266100 山*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种处理监控大数据的实时流计算监控系统及方法，该系统包括数据采集单元，采用监控Agent，通过主动上报或主动收集的方式获得对应机器上的监控原始数据；数据缓存单元，包括用于存储监控Agent收集到的监控原始数据和存储聚合计算后的监控数据的高性能消息队列Kafka；数据计算单元，基于高并发流计算引擎Flink，对原始监控数据进行聚合计算，聚合计算完的监控数据被发送到高性能消息队列Kafka中做暂时缓存；监控状态管理服务单元，用于监控数据采集单元和数据计算单元的运行状态；数据存储单元和数据展现单元，本发明所公开的系统及方法保证了高并发计算的准确性，加快了展现速度。 | ||
| 搜索关键词： | 监控 监控数据 聚合 数据计算单元 监控系统 消息队列 原始数据 大数据 实时流 并发 存储 缓存 管理服务单元 监控数据采集 数据采集单元 数据存储单元 数据缓存单元 计算引擎 监控状态 数据展现 运行状态 主动上报 主动收集 保证 | ||
【主权项】：
1.一种处理监控大数据的实时流计算监控系统，其特征在于，包括如下单元：数据采集单元，采用监控Agent，通过主动上报或主动收集的方式获得对应机器上的监控原始数据；数据缓存单元，包括用于存储监控Agent收集到的监控原始数据和存储聚合计算后的监控数据的高性能消息队列Kafka；数据计算单元，基于高并发流计算引擎Flink，对原始监控数据进行聚合计算，同时对监控数据划分时间窗口，在每个计算窗口内，按照监控指标进行分组，根据监控数据自身携带的数据采集时间进行聚合计算，处理乱序数据以及延迟到达数据，聚合计算完的监控数据被发送到高性能消息队列Kafka中做暂时缓存；监控状态管理服务单元，用于监控数据采集单元和数据计算单元的运行状态；数据存储单元，包括用于存储聚合计算后的监控数据的时序数据库InfluxDB，和用于存储监控原始数据的HBase；数据展现单元，通过Grafana展现进行聚合计算后的监控数据，并且通过钻取功能，从HBase中联查到原始的监控数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于青岛特锐德电气股份有限公司;青岛特来电新能源有限公司，未经青岛特锐德电气股份有限公司;青岛特来电新能源有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910042659.6/，转载请声明来源钻瓜专利网。
