[发明专利]面向HDFS/Hadoop存储集群的资源监控系统及方法

说明书

 

技术领域

本发明涉及HDFS后台云存储的存储管理服务器名称节点、存储集群中的若干数据节点，具体是通过状态参考信息收集模块管理、心跳协议优化模块管理、参考信息处理模块管理，针对HDFS仅能对磁盘相关性能参数进行监控这一缺陷，设计并实现了资源监控模块，支持对多维资源信息的实时收集与管理，优化HDFS的心跳协议及相关数据结构，在支持多维信息更新的同时，增强了对节点动态加入的动态集成能力，为动态负载均衡优化设计提供了决策依据。

背景技术

近年来，随着网络及计算能力的不断提高，面向新型分布式环境的数据存储技术受到业界广泛关注，云存储更因资源聚集复用能力及扩展性强、易于部署而成为支持“大数据处理”的热点支撑技术而备受青睐。在面向海量数据存储的云存储应用领域，HDFS由于其良好特性和开源实现，渐渐成为云存储基本支撑平台的主流应用文件系统，无论在学术界还是工业界都有各种基于HDFS的研究和应用。

分布式云存储系统HDFS系统的应用场景是面对大规模用户的文件访问请求，工作负载主要来自于文件存储要求和访问请求，处理多集中于读和写为基础，但HDFS仅能对磁盘容量相关性能参数进行监控，没有针对读写性能优化提供支持的资源监控。针对此问题，本发明设计并实现了一种面向HDFS/Hadoop存储集群的资源实时监控方法，弥补了HDFS不能对影响数据读写性能的状态信息监控的缺陷，动态收集数据节点实时信息，并将信息数据传输到名称节点。

发明内容

本发明所要解决的技术问题是针对HDFS仅能对磁盘容量相关性能参数进行监控，没有针对读写性能优化提供支持的资源监控的局限性，提出了一种面向HDFS/Hadoop存储集群的资源实时监控系统及其监控方法，该系统收集数据读写性能相关的关键状态信息磁盘I/O使用率、CPU使用率和内存使用率，支持数据节点端多维资源信息的实时收集，名称节点端并以一定频率实时更新与管理，实现名称节点对于数据节点状态性能信息的实时监控和集中式管理。

本发明所述的一种面向HDFS/Hadoop存储集群的资源监控系统，包括HDFS存储管理服务器名称节点、HDFS存储集群中的若干数据节点，此外其还设有：

1）状态参考信息收集模块：部署在HDFS存储集群的数据节点上，收集数据读写性能相关的关键状态信息，支持数据节点端多维资源信息的实时收集与保存，并以一定频率实时更新与管理；

2）心跳协议优化模块：部署在HDFS存储集群的数据节点上，负责将节点参考信息传送到名称节点，以一定的频率实时获取数据节点的实时状态信息，通过优化心跳传输协议，以一定的频率RPC调用名称节点的传输方法，传送当前节点的实时状态信息，保证传送过去的数据最新，支持多维信息的推送；

3）参考信息处理模块：部署在HDFS存储管理服务器名称节点，名称节点得到实时状态数据后，通过优化相关数据结构和方法，处理数据节点传送过来的状态信息，更新和保存数据节点的最新性能状态参考信息，使名称节点端实时了解数据节点提供数据存储和访问的性能状态。

本发明还提供了一种面向HDFS/Hadoop存储集群的资源监控方法，其包括以下步骤：

1）从系统需要的角度，确定数据节点端收集的状态参考信息，将影响读和写性能的关键影响因素磁盘I/O使用率、CPU使用率和内存使用率这三者共同纳入资源监控的状态信息，加入类DatanodeStat用于存储上述三个新增入的状态信息；

2）数据节点启动后，后台收集状态信息的线程collectDatanodeStat在数据节点端实时获取集群中存储节点的实时状态信息，更新到DatanodeStat类实例中，保证它所记录的参考数据信息能反映当前节点的状态；

3）数据节点实时从DatanodeStat对象中获取数据节点的实时状态信息磁盘I/O使用率、CPU使用率和内存使用率，线程collectDatanodeStat在数据节点端实时获取集群中存储节点的实时状态信息；新加入的状态信息从源监控模块里得到，收集性能参考信息的线程不断的获取节点状态信息，并将数据保存到全局DatanodeStat类实例里，每收集一次信息就对其更新一次，保证数据最新；

4）心跳协议sendHeartbeat负责将数据节点的状态信息发送给名称节点，之后名称节点把心跳协议的工作移交给FSNamesystem的handleHeartbeat，更新名称节点中对这个数据节点的状态信息；