[发明专利]一种运维数据采集装置及采集方法

说明书

本发明公开了一种运维数据采集装置及采集方法，该引擎包括数据中心单元、采集任务单元、数据加工单元、以及数据输出单元。本发明的数据采集引擎及采集方法包括了数据采集、整理和计算、输出，输出包括计算排行榜、提供对象实时数据到中间件、写入时许数据库、发送到数据分析平台，实现了大规模复杂环境的运维服务。

技术领域

本发明涉及运维数据采集装置及采集方法。

背景技术

随着机房规模越来越大，承载的业务系统越来越复杂，机房运维工作也越来越复杂,所需要监管内容已经不局限于网络设备运行情况，服务器运行情况，还需要监管包括服务器上应用程序的各项运行指标，以及机房的物理环境、动力环境指标，甚至包括机房内运行的一些应用系统的工作数据。

现有运维方式已经不能满足大规模机房复杂的运维需求，如Icinga是一个开源监控系统，用于监控网络主机和服务的运行状况，它可以在设定阈值的条件下对主机和服务运行指标进行监控，在被监控对象运行指标超出阈值范围后，给出告警信息。另外Icinga也有自己的web页面，可以查看已经配置好的被监控设备运行指标情况。类似的开源软件还有Ganglia，Zabbix，NMS等等。

现有的Icinga其存在的缺陷包括：

1.对于监控数据的计算主要依赖于脚本实现，通过简单的阈值配置进行指标对比计算，阈值配置比较统一化无差别对待；

2.采集脚本配置比较麻烦；

3.监控对象或者采集脚本配置变更，需要重启服务，监控被中断，不能满足需要7x24小时不间断监控的环境；

4.监控机制实现比较简单，难以应对超过1000个监控点的机房监控，大规模机房的运行情况展示问题需要更复杂的机制，大规模的机房对于告警处理需要智能化，避免告警风暴问题；

5.复杂的机房监控需要更复杂的数据处理系统，一个假设方案是额外建设一个数据处理系统，然后来处理Icinga采集到的数据，而Icinga的监控数据对接到其他系统还是比较困难的，需要RESTFUL形式API，RESTFUL是基于HTTP协议的，其性能存在瓶颈，另外Icinga吐出来的数据格式和内容也未必非常适应额外的数据处理系统。

因此如何减低数据分析平台的工作负荷量对于目前机房运维有着重要意义。

发明内容

本发明在此的目的在于提供一种运维数据采集装置，主要负责采集任务的调度执行，以及采集结果的收集、加工。

为实现本发明的目的，在此提供的运维数据采集装置包括：

数据中心单元，用于建立和维护监控对象哈希表；

采集任务单元，依据建立的监控对象哈希表和采集任务配置文件装配采集任务哈希表，根据装配的采集任务哈希表调度监控对象脚本并获取所述监控对象脚本的输出内容，所述输出内容作为采集结果组建成采集结果数据队列；

数据加工单元，用于对所述采集结果数据队列中的数据进行加工，经加工处理后的数据组建成目标数据队列，并可以用于更新所述数据中心单元建立的监控对象哈希表；

所述数据中心单元、所述采集任务单元和所述数据加工单元的工作内容或者工作状态通过配置文件来调整。

本发明提供的数据采集引擎属于复杂运维方案中的数据采集，采用配置文件对数据中心单元、采集任务单元和数据加工单元的工作内或者工作状态进行配置，可以灵活地配置数据采集任务、采集频率、采集负载，以及对采集得到的数据进行加工处理。数据加工单元对采集到的数据进行加工处理后，通过加工处理后的数据对监控对象哈希表进行更新，解决了现有技术中在对监控对象数据进行变更时需要重启服务，导致监控被中断的问题。