[发明专利]一种基于大数据流处理技术的运维监控分析系统

摘要

本发明公开了一种基于大数据流处理技术的运维监控分析系统，属于运维监控技术领域；系统包括：监控端，监控得到客户端中的监控数据并发送至存储端；存储端，保存多条预警处理规则，多条数据挖掘规则以及历史记录；缓存端，根据预设的时间间隔，将存储端中保存的预警处理规则、数据挖掘规则以及历史记录同步到缓存端中，以及接收监控端发送的监控数据流；第一处理组，根据预警规则、历史记录以及监控数据流进行预警监控告警分析；第二处理组，根据数据挖掘规则、历史记录以及监控数据流进行数据挖掘分析，根据分析结果输出监控统计分析。上述技术方案的有益效果是：解决分析实时性不够、处理效率过低及处理崩溃等问题。

主权项

1.一种基于大数据流处理技术的运维监控分析系统，其特征在于，包括：监控端，分别远程连接多个客户端，用于监控得到所述客户端中的运维监控数据，并将监控到的处于预设周期内的所述运维监控数据发送至一远程的存储端，以作为历史记录保存；所述存储端还用于保存预设的多条预警处理规则，预设的多条数据挖掘规则，以及所述历史记录；缓存端，分别远程连接所述存储端和所述监控端，用于根据预设的时间间隔，将所述存储端中保存的所述预警处理规则、所述数据挖掘规则以及所述历史记录同步到所述缓存端中进行保存，以及接收所述监控端发送的实时的包括所述运维监控数据的监控数据流，并根据对应所述监控数据流中包括的所述运维监控数据的不同的类型分别进行缓存；第一处理组，远程连接所述缓存端，所述第一处理组中包括多个第一处理端，分别用于根据所述预警处理规则、所述历史记录以及所述监控数据流进行预警监控分析，并输出相应的分析结果；第二处理组，远程连接所述缓存端，所述第二处理组中包括多个第二处理端，分别用于根据所述数据挖掘规则、所述历史记录以及所述监控数据流进行数据挖掘分析，根据分析结果输出被挖掘出的关联于所述运维监控数据的监控统计结果；所述第一处理组中的多个所述第一处理端中包括一个第一主处理端和多个第一从处理端，所述第一主处理端分别连接多个所述第一从处理端；所述缓存端保存有关联于所述预警监控分析的第一任务，每个所述第一任务关联于包括多个所述运维监控数据的所述监控数据流；所述第一主处理端中包括：第一监控单元，用于对不同的所述第一从处理端的工作负载进行监控，并输出监控结果；第一处理单元，连接所述第一监控单元，用于根据所述监控结果，处理得到关联于所有所述第一从处理端的任务拓扑关系并输出；第一分发单元，连接所述第一处理单元，用于根据所述任务拓扑关系，向不同的所述第一从处理端分发包括于所述缓存端接收到的所述第一任务以及相关联的所述监控数据流。