[发明专利]数据处理系统及方法在审
申请号: | 202110577469.1 | 申请日: | 2021-05-26 |
公开(公告)号: | CN113486002A | 公开(公告)日: | 2021-10-08 |
发明(设计)人: | 佘朝辉 | 申请(专利权)人: | 北京搜房科技发展有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/245 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 李伟 |
地址: | 100000 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理系统 方法 | ||
本发明提供了一种数据处理系统及方法,该系统包括:Prometheus用于采集监控数据,并对采集到的各个监控数据进行分片。Fsider获取监控软件在历史时间段内已分片的各个监控数据,并发送至存储器进行存储。Fgraph用于向查询组件发送数据查询请求,Fquery在接收到该数据查询请求后转发给Fsider,Fsider基于该数据查询请求中的数据信息,查询该数据查询请求对应的各个监控数据,并按原请求路径返回。Fgraph在接收到各个监控数据后进行整合并绘制对应的数据绘图,由Fquery进行显示。应用本发明提供的系统,可以实现对监控数据的长期冷存储,在需要调出时进行预热调度。
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据处理系统及方法。
背景技术
Prometheus是一个开源的Prometheus,它既适用于面向服务器等硬件指标的监控,也适用于高动态的面向服务架构的监控。现技术的Prometheus通过PrometheusServer定时去监控对象上抓取监控数据,并将监控数据推送并存入时序数据库TSDB中。
虽然Prometheus很好的支持了对服务器、组件服务等监控对象的监控,但是随着技术的进步,服务器和组件的成倍增长,监控数据的种类以及数量也随之增多,Prometheus内的时序数据库难以支持长期存储大量数据。
发明内容
有鉴于此,本发明提供一种监控数据处理系统及方法,通过该系统,可以实现对监控数据的长期冷存储,在需要调出时进行预热调度。
一种监控数据处理系统,包括:
监控集群、边缘收集器Fsider、存储器、查询组件Fquery以及绘图控件Fgragh;
所述监控集群包含至少一个监控软件Prometheus;
每个所述Prometheus,用于按照预设的时间周期采集其对应的监控对象的各个监控数据,并将各个所述监控数据按照预先设定的监控类型进行分片;
所述Fsider,用于获取历史时间段内各个所述Prometheus采集的各个监控数据,并将所述历史时间段内采集的各个监控数据发送至所述存储器;当接收到所述Fquery发送的数据查询请求时,获取所述数据查询请求对应的数据信息;基于所述数据信息,从各个所述Prometheus获取所述数据查询请求对应的各个监控数据,并将所述数据查询请求对应的各个监控数据发送至所述Fquery;
所述存储器,用于存储所述Fsider发送的各个监控数据;
所述Fquery,用于接收所述Fgraph下发的数据查询请求,向所述Fsider转发所述数据查询请求;当接收所述Fsider反馈的所述数据查询请求对应的各个监控数据时,将所述数据查询请求对应的各个监控数据发送至所述Fgraph;当接收到所述Fgraph基于所述数据查询请求对应的各个监控数据发送的数据绘图时,显示所述数据绘图;
所述Fgraph,用于向所述Fquery下发数据查询请求;在接收到所述Fquery基于所述数据查询请求反馈的监控数据时,对所述数据查询请求对应的各个监控数据进行整合,生成对应的数据绘图,并将所述数据绘图发送至所述Fquery。
上述的数据处理系统,可选的,所述Prometheus,包括:
数据节点、监控服务和分片模块;
所述数据节点,用于按照所述时间周期采集监控对象的每个监控类型对应的各个监控数据;
所述分片模块,用于将各个所述监控数据按照各个所述监控类型进行分片;
所述监控服务,用于创建各个已分片的监控数据对应的TSDB存储文件;获取每个所述已分片的监控数据对应的时序信息;并将各个所述时序信息设置为所述TSDB存储文件对应的索引信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜房科技发展有限公司,未经北京搜房科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110577469.1/2.html,转载请声明来源钻瓜专利网。