[发明专利]一种面向Hadoop集群的分布式监控管理系统

说明书

技术领域

本发明涉及一种面向Hadoop集群的分布式监控管理系统，该系 统更适用于实际需求。通过此系统能够了解服务器资源分配，跟踪 Hadoop运行状况，告警异常状况，简化Hadoop平台配置操作，在此 基础上发现系统资源瓶颈，并优化性能。此系统也可用于其他需求环 境中对于分布式集群的监控管理。

背景技术

与普通的计算机网络环境或数据中心不同，基于Hadoop构建的 云计算环境，具有节点数量大、组件及应用复杂的特点，Hadoop旨 在运行于低成本的计算机上，视故障为常态，且Hadoop涵盖的功能 非常广泛并使用复杂的分布式并行计算架构，这也给Hadoop集群的 运营与维护带来了极大的挑战。

目前针对于Hadoop监控和管理的工具有很多，例如Zookeeper、 Ganglia、Nagios、Ambari、Chukwa等。每种管理工具在其所专注的 领域内，都是比较成功和好用的。Zookeeper用于配置文件的管理、 Ganglia和Nagios分别负责分布式集群的监控和告警、Ambari为集 群部署和监控管理提供了统一的解决方案、Chukwa解决了收集和分 析集群日志的问题。Zookeeper专注于Hadoop平台配置文件的管理 工作。Ganglia作为一个出色的集群监控工具，分布式监控效果突出， 为我们提供了计算机集群内的采集、收集、存储和展示全套的功能。 但它不能对日志分析，只是单纯监控集群的工作状态。Ganglia自带 的监控页面可以按不同粒度展示历史数据随时间的变化趋势，而且可 以自定义参数。但是展示的参数多而全，想要从中筛选出自己需要的 信息，需要对Ganglia有很好的了解，且需要有一定的管理和运营集 群的经验。这对于一般的Hadoop使用者是一个挑战。Nagios是一款 出色的监控和告警工具。可以通过设计插件随意监控自己关心的内 容，并设定阈值，当监控值超过阈值时，Nagios会通过邮件或者短 信的方式告警。但是出色的告警功能并不能满足我们监控资源的需 求。只能作为集群管理的重要环节。此外，Ganglia和Nagios有一 些功能重叠，如果要使用这两种工具，需要规划两者的监控指标，避 免不必要的资源浪费。Chukwa现阶段仍不稳定，安装过程复杂，调 试困难。其中最接近我们需求的是Ambari，但在实际使用过程中， 我们发现Ambari还存在非常多的问题。Ambari无法作为单独的监控 和管理工具，不能监控自行安装的集群，必须在安装集群时就使用 Ambari，并严格遵守安装时的各种角色分配。对于不同的操作系统， 安装经常会遇到不能解决的问题，也就是说，Ambari并不能很好的 运行于各个Linux操作系统上。

发明内容

综上所述，在了解了当前主流的集群管理和监控系统后，本发明 开发了一种面向Hadoop集群的分布式监控管理系统，一种更适用于 我们实际需求的监控管理系统。通过此系统能够了解服务器资源分 配，跟踪Hadoop运行状况，告警异常状况，简化Hadoop平台配置操 作，在此基础上发现系统资源瓶颈，并优化性能。

本发明的目的是解决对于Hadoop平台的性能监控、故障报警、 配置管理，其中包括：

1、监控报警功能主要包括采集和存储所有监控的基础数据以及 故障告警。

2、本系统所能监控的数据不仅仅是系统资源和Hadoop的 Metrics信息，也可以是Hadoop组件日志和其他组件日志。这是因 为Hadoop的Metrics信息无法给出我们所关心的作业运行百分比等 信息，所以Hadoop组件日志也是非常重要的基础监控数据来源。日 志中通常包含了组件运行开始后，每项操作所调用的代码包、操作执 行结果等信息。分析Hadoop组件日志信息，对流量分析系统的监控 与优化有非常大的帮助。此外对于自行开发运行于集群并与Hadoop 组件相关联的组件，为了得到其当前运行情况，以及整体健康状况， 应该根据自身需求定义可以反映组件状况的指标，并提供日志输出这 些指标。监控系统可以监控这些组件的日志，并根据需求报警。

3、通过配置管理模块实现Hadoop平台的统一配置服务，当监控 管理系统进行报警时，相关人员可以修改Hadoop平台的配置，重新 组织和协调资源，并提供web界面简化配置操作。