[发明专利]一种具有分层技术架构的全链路监控系统

说明书

本发明提供一种具有分层技术架构的全链路监控系统，包括如下架构层：数据源层，其对接多种数据平台，对多种数据平台的监控数据进行汇总管理；数据采集层，其包括多种数据采集器，利用多种数据采集器从数据源层中采集多种数据平台的监控数据，再把采集到的监控数据发送给数据传输总线；持久层，其从数据传输总线中获取监控数据，对获取到的监控数据进行存储管理；业务逻辑层，其根据来自预设应用的业务功能需求，对持久层中的相应监控数据进行分析汇总；应用层，其通过应用服务器获取来自预设应用的业务功能需求，再将业务功能需求发送给业务逻辑层，然后对业务逻辑层根据业务功能需求所得到的监控数据分析汇总结果进行整合展示。

技术领域

本发明涉及数据处理技术领域，特别涉及一种具有分层技术架构的全链路监控系统。

背景技术

目前我国电力供应总体偏紧张，部分地区、部分时段缺电比较严重，随着我国电网规模不断扩大及电网复杂性不断增加，需对各个用电地区的用电量、用电高峰时段等电网数据进行用电分析，得出合理的供电方案并实施以缓解电力供应紧张的局面。为此，电网系统通常先从各个用电地区的电网中采集其运行时产生的电网数据，再将采集到的电网数据传输给数据中心，然后利用数据分析系统对数据中心中的电网数据进行全面的用电分析。

但是，由于目前电网的业务系统数量众多，电网系统需采集的电网数据量非常庞大，导致在采集电网数据的过程中时常出现电网数据采集不完整、电网数据采集质量低等问题，因此，目前通常采用大数据分析平台、实时数据服务平台、非结构化数据服务平台、数据资产管理平台、数据质量管理平台等数据平台对电网数据进行从生产到应用直至退役的全链路监控。但是，由于电网数据量非常庞大，相应的监控数据量也会比较庞大，当电网系统运维人员对某项监控数据产生需求时，该电网系统运维人员会因监控数据量比较庞大而难以及时精准地获取需求的监控数据。

发明内容

本发明要解决的技术问题是如何令电网系统运维人员能及时精准地获取需求的监控数据。

为解决上述技术问题，本发明提供一种具有分层技术架构的全链路监控系统，包括如下架构层：

数据源层，其对接多种数据平台，对所述多种数据平台的监控数据进行汇总管理；

数据采集层，其包括多种数据采集器，利用所述多种数据采集器从数据源层中采集多种数据平台的监控数据，再把采集到的监控数据发送给数据传输总线；

持久层，其从数据传输总线中获取监控数据，对获取到的监控数据进行存储管理；

业务逻辑层，其根据来自预设应用的业务功能需求，对持久层中的相应监控数据进行分析汇总；

应用层，其通过应用服务器获取来自预设应用的业务功能需求，再将所述业务功能需求发送给业务逻辑层，然后对业务逻辑层根据所述业务功能需求所得到的监控数据分析汇总结果进行整合展示。

优选地，所述多种数据平台包括大数据分析平台、实时数据服务平台、非结构化数据服务平台、数据资产管理平台和/或数据质量管理平台。

优选地，所述多种数据采集器包括指标数据采集器、日志数据采集器、元数据采集器、任务数据采集器、应用数据采集器和/或集群监控数据采集器。

优选地，所述数据传输总线是Kafka集群。

优选地，所述持久层获取到监控数据后，对所述监控数据进行过滤、清洗和转换，再将经过滤、清洗和转换后的监控数据装载到存储容器中进行存储管理。

优选地，所述存储容器包括采用双机热备配置模式的MySQL数据库。

优选地，所述业务逻辑层获取到来自预设应用的业务功能需求后，采用数据整合、数据加工和数据分析的数据处理手段对持久层中相应的监控数据进行业务逻辑分析处理，使相应的监控数据按照所述业务功能需求进行汇总。