[发明专利]一种自动调度的分布式数据监控系统及方法

说明书

本发明提供了一种自动调度的分布式数据监控系统及方法，属于监控系统技术领域。本发明包括：Nginx反向代理服务器、多个告警规则模块、Kafka队列和多个告警计算模块。本发明解决了面对海量的告警规则，在计算时的性能问题，以及在计算告警模块宕机时，系统的不可用问题。同时本发明解决了告警规则批量创建时，在峰值区域，告警规则来不及处理造成信息丢失的问题。最后本发明提出了基于用户维度，时间维度，监控对象等维度的告警规则的配置方法。

技术领域

本发明属于监控系统技术领域，具体涉及一种自动调度的分布式数据监控系统及方法。

背景技术

在云计算和物联网系统中，各个业务模块之间需要协同工作，其内部数据呈现出异构性，松耦合等特点。这些系统都需要稳定可用的监控系统保证其健康性以及稳定性。数据监控系统在保障数据安全和数据服务质量方面起着重要的作用，因此对监控系统的研究是非常有意义的。

普通监控系统一般采用数据接口模式，通过第三方服务向监控系统推送数据，或者监控系统从第三方服务拉取数据，然后在监控系统中进行集中式规则计算，从而判定是否告警。此种架构的设计，当对接的第三方服务数据点位较多，需要对数据进行运算的告警规则较多的时候，监控系统无论在数据接入方面还是从数据处理方面都很容易到达性能瓶颈，系统扩展性也性对较弱。

发明内容

为了克服上述现有技术存在的不足，本发明提供了一种自动调度的分布式数据监控系统及方法。

为了实现上述目的，本发明提供如下技术方案：

一种自动调度的分布式数据监控系统，包括：

Nginx反向代理服务器，与被监控对象通过HTTP协议、MQTT协议和WebSocket协议通信连接；

多个告警规则模块，采用Master-Slaver架构进行部署，多个所述告警规则模块均与所述Nginx反向代理服务器通过Http协议连接；

Kafka队列，与多个所述告警规则模块通过Http协议连接；

多个告警计算模块，通过Zookeeper服务器，以Tcp协议方式连接；每个所述告警计算模块均与所述Kafka队列通信连接。

优选的，所述Master-Slaver架构包括：

多个Slaver节点，与Zookeeper服务器通信连接；用于计算业务；

Master节点，与Zookeeper服务器通信连接；主要用于管理多个Slaver节点，同时也承担计算业务。

优选的，还包括：

MYSQL数据库，与多个所述告警规则模块通信连接；

时序数据库OpenTsdb，与Kafka队列和多个所述告警计算模块通信连接；

集中式缓存模块，与Kafka队列和多个所述告警计算模块通信连接。

一种自动调度的分布式数据监控方法，包括以下步骤：

Nginx反向代理服务器获取被监控对象的监控请求，将监控请求存储在时序数据库OpenTsdb；

当出现告警规则模块宕机时，对多个告警规则模块重新部署；否则，多个告警规则模块根据监控对象的监控请求，分别制定告警规则和多维度的数据逻辑模型，并将多个告警规则和数据逻辑模型存储在MYSQL数据库；

Kafka队列对多个告警规则模块和多个告警计算模块进行解耦；

多个告警规则和数据逻辑模型进入Kafka队列；