[发明专利]面向HDFS/Hadoop存储集群的资源监控系统及方法

摘要

本发明公开了一种面向HDFS/Hadoop存储集群的资源监控系统及方法，该系统在存储集群中增加了状态参考信息收集模块、心跳协议优化模块、参考信息处理模块。状态信息收集模块部署在HDFS存储的数据节点上，支持对多维资源信息的实时收集与管理。心跳协议优化模块负责将节点参考信息传送到名称节点，通过优化心跳传输协议，支持多维信息的推送。参考信息处理模块在名称节点端实现，通过优化相关数据结构，处理数据节点传送过来的状态信息，名称节点端实时了解数据节点提供存储访问服务的性能状况。本发明弥补了HDFS不能对影响数据读写性能的状态信息监控的缺陷，动态收集数据节点实时信息，并将信息数据传输到名称节点。

主权项

一种面向HDFS/Hadoop存储集群的资源监控方法，其特征在于包括以下步骤：1）从系统需要的角度，确定数据节点端收集的状态参考信息，将影响读和写性能的关键影响因素磁盘I/O使用率、CPU使用率和内存使用率这三者共同纳入资源监控的状态信息，加入类DatanodeStat用于存储上述三个新增入的状态信息；2）数据节点启动后，后台收集状态信息的线程collectDatanodeStat在数据节点端实时获取集群中存储节点的实时状态信息，更新到DatanodeStat类实例中，保证它所记录的参考数据信息能反映当前节点的状态；具体流程是：21）数据节点启动后台收集状态信息的线程collectDatanodeStat，在数据节点端实时获取集群中存储节点的实时状态信息；22）数据节点从系统文件/proc/stat中获取内核活动信息，从不同的时间点对数据采样，计算出CPU利用率；23）数据节点从系统文件/proc/meminfo文件中获取信息描述系统内存使用状况，从不同的时间点对数据采样，计算出内存利用率；24）数据节点从iostat中得到磁盘读和写次数、合并读和合并写次数，磁盘I/O利用率则用单位时间读写扇区次数rsec/s、 wsec/s和设备I/O操作的平均服务时间svctm，得到单位时间内I/O操作所占的百分比，util百分比=(rsec/s+ wsec/s)*( svctm/1000)；25）从数据节点的Linux系统中获取到磁盘I/O使用率、CPU使用率和内存使用率获这些状态信息后，通过取后set方法更新DatanodeStat中的各成员，保证它所记录的参考数据信息能反映当前节点的状态；26）线程collectDatanodeStat不断的重复上面22）~25）的工作，保证DatanodeStat类对象中保存的是当前数据节点最新状态信息；3）数据节点实时从DatanodeStat对象中获取数据节点的实时状态信息磁盘I/O使用率、CPU使用率和内存使用率，线程collectDatanodeStat在数据节点端实时获取集群中存储节点的实时状态信息；新加入的状态信息从源监控模块里得到，收集性能参考信息的线程不断的获取节点状态信息，并将数据保存到全局DatanodeStat类实例里，每收集一次信息就对其更新一次，保证数据最新；4）心跳协议sendHeartbeat负责将数据节点的状态信息发送给名称节点，之后名称节点把心跳协议的工作移交给FSNamesystem的handleHeartbeat，更新名称节点中对这个数据节点的状态信息；5）名称节点得到实时状态数据后，通过优化相关数据结构和方法，处理数据节点传送过来的状态信息，更新和保存数据节点的最新性能状态参考信息，名称节点端实时了解数据节点提供存储访问服务的性能状况。