[发明专利]基于多组件大数据平台的一体化运维监控方法及系统

说明书

本公开提供了一种基于多组件大数据平台的一体化运维监控方法，可以应用于大数据运维技术领域。该方法包括：响应于组件的接入请求，确定组件信息，所述组件信息包括组件名称、组件类型和组件索引信息；根据所述组件名称确定数据接口方式和监控指标；采集组件上报的监控指标数据和日志数据；根据所述组件信息、所述监控指标数据和所述日志数据确定告警模板；根据租户配置信息和所述告警模板生成告警实例。本公开还提供了一种基于多组件大数据平台的一体化运维监控系统、设备、存储介质和程序产品。

技术领域

本公开涉及大数据技术领域，具体涉及大数据运维领域，更具体地涉及一种基于多组件大数据平台的一体化运维监控方法、系统、设备、介质和程序产品。

背景技术

传统的大数据运维平台组件种类复杂，一般包含多种开源技术产品，如：Hadoop、ElasticSearch、HBase、Phoenix产品等，涉及的组件类型多，如：容器、中间件、数据库等。由于不同组件之间没有统一的运维接口，一般采用原生接口各自进行运维管理，通过该方式搭建的大数据运维管理平台为离散型，系统与系统之间、组件与组件之间的运维较为割裂，缺乏统一的运维监控视角，也无法建立数据级的监控视图，各组件之间在运维层面集成困难、重复建设、自动化程度偏低，难以实现大数据平台的一体化运维管理。

发明内容

鉴于上述问题，本公开提供了基于多组件大数据平台的一体化运维监控方法、系统、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种基于多组件大数据平台的一体化运维监控方法，应用于一体化运维平台，包括：响应于组件的接入请求，确定组件信息，所述组件信息包括组件名称和组件类型；

根据所述组件名称确定数据接口方式和监控指标；

采集组件上报的监控指标数据和日志数据；

根据所述组件信息、所述监控指标数据和所述日志数据确定告警模板；以及

根据租户配置信息和所述告警模板生成告警实例。

根据本公开的实施例，所述数据接口方式包括单条上报接口和批量上报接口，所述根据所述组件名称确定数据接口方式和监控指标包括：

根据所述组件名称和预设接口文档确定组件监控指标和交互指标量；

当确定所述交互指标量小于预设阈值时，确定数据接口方式为单条上报接口；以及

当确定所述交互指标量大于预设阈值时，确定数据接口方式为批量上报接口。

根据本公开的实施例，采集组件上报的日志数据包括非容器日志采集和容器日志采集，所述非容器日志采集包括：

根据预设格式规范采集日志数据生成日志文件，所述预设格式规范包括日志目录规范、日志命名规范和日志内容格式规范；

将所述日志文件转发至ES中，并进行滚动存储。

根据本公开的实施例，所述根据所述组件信息、所述监控指标数据和所述日志数据确定告警模板包括：

根据所述组件信息确定索引信息；

根据所述索引信息确定模板元信息；

根据所述监控指标数据和所述日志数据确定告警数据源信息、告警触发条件信息、阈值描述信息；以及

根据所述模板元信息、所述告警数据源信息、所述告警触发条件信息、和通知模板确定告警模板。

根据本公开的实施例，所述根据租户配置信息和所述告警模板生成告警实例包括：

根据租户配置信息确定告警触发条件，所述告警触发条件包括监控指标的告警阈值和/或告警规则；

根据租户配置信息确定联系方式配置信息；以及