[发明专利]一种基于内存队列的多种运维指标数据接收的管理方法

说明书

本发明公开了一种基于内存队列的多种运维指标数据接收的管理方法，提供三种数据接收的方式，包括TCP接收、HTTP接收、Kafka接收。并使用ConcurrentLinkedQueue队列来保证并发执行时的线程安全。该管理方法可以运用在电力系统中的智能运维平台中，开发人员只要遵循该方法制定的运维指标数据格式，选择一种数据通信方式，不需要进行通信方面的代码开发，接收的数据就会被有效的管理，达梦数据库用于数据存储、Redis用于数据查询的缓存、opentsdb用于前端数据的实时展示。

技术领域

本申请属于电网调度自动化领域，特别涉及多种运维指标数据接收的管理方法。

背景技术

在搭建电力系统智能运维平台过程中，采集端发送采集运维数据到服务端的形式有很多种，例如将运维指标数据通过Kafka发送、或者通过HTTP形式发送等等；服务端怎样统一接收多种发送方式，是需要解决的一个问题。现在业界使用的开源智能运维监控系统有zabbix、open-falcon、prometheus等等。

如上述的zabbix系统，是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定可勿解决存在的各种问题。

zabbix由2部分构成，zabbix server与可选组件zabbix agent。

zabbix server可以通过SNMP、zabbix agent、ping、端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux、Solaris、HP-UX,AIX、FreeBSD、open BSD、OSX等平台上.

Zabbix系统的优点包括：(1)zabbix最常用的监控方式，监测指标深入细致有针对性。(2)内置监控功能强大，内置监控项目丰富。(3)TCP方式实现通讯，可靠性也有保证。

但是，Zabbix虽然可以提供强大的监视功能，但是它需要在被监控的机器上逐个安装agent客户端，部署比较麻烦，也不符合电力系统的现场复杂环境。而且通信方式是TCP方式，agent和服务端通信方式不是可配置的，必须符合遵从zabbix提供的方式，灵活性不太好；而且zibbix入门容易，但进行二次开发难度较大；运维系统较重。

故，需要一种新的技术方案以解决上述问题。

发明内容

发明目的：本发明提出了一种基于HBase的智能电网采集监测数据存储系统及存储方法，目的是为了合理存储信息，充分利用资源，以提升采集监测数据的加载和访问性能。

技术方案：为达到上述目的，本发明基于HBase的智能电网采集监测数据存储系统采用如下技术方案：

一种基于内存队列的多种运维指标数据接收的管理方法，包括以下几个步骤：

步骤1)，按照制定的数据格式，梳理运维指标数据，用于有效的数据接收、数据存储和数据展示；

步骤2)，提供三种数据接收通信方式：包括TCP通信、HTTP通信、Kafka通信方式，以接收运维指标数据；

步骤3)，整合多种存储数据的数据库，包括关系数据库、时序数据库、内存缓存数据库，对数据进行有效存储。

进一步的，步骤1)中，数据来源包括但基础设施指标、运行指标、业务系统指标、第三方指标；报文采取json格式，数据类型支持String、int、Float；数据格式包含了主机名、组件名、所属系统、指标组、指标名、指标值、上报周期。