[发明专利]一种Hadoop集群节能系统

摘要

本发明公开了一种Hadoop集群节能系统，属于信息技术处理领域，主要包括底层的资源数据收集，中间层的负载预测和能耗计算模型，上层的作业调度，并且详细介绍了每层用到的关键技术和策略，然后基于CPU和内存使用率，建立能耗计算模型，同时根据本申请的具体实验环境，通过使用基准Benchmark计算了能耗模型中C

主权项

1.一种Hadoop集群节能系统，其特征在于：包括底层的数据收集模块、中间层的负载预测模块和能耗模型模块以及上层的作业调度模块；/n数据收集模块，被配置为用于获取集群节点数据；/n集群节点数据包括：(1)节点的资源利用率的情况；(2)集群节点运行的任务所占系统资源的情况；/n数据收集模块借助于Zabbix的Agent探针技术实现对集群性能指标的监控；数据收集模块是以server端、proxy端、agent端的方式工作的；/n数据收集模块包含有多个集群，每个集群包含两个主机，每个主机对应n个集群节点；每个主机上均安装有server，每个集群节点上均安装有agent，server每隔一段时间向agent发送请求收集被监控项的指标数据，agent向server返回请求的数据，server将获得的数据写入相应的数据库中，完成数据的收集和分析；/n当Hadoop的集群规模过大时，server端的压力会增加，数据收集模块采用proxy来分担集群数据的分析收集工作，保证底层系统的稳定；/n负载预测模块和能耗模型模块，被配置为用于完成集群性能的监控以及通过底层的数据收集模块收集的集群节点数据，训练构建的预测节点负载的LSTM网络模型，为上层任务调度提供支持；/n集群性能的监控，具体实现方法如下：/n负载预测模块和能耗模型模块通过分析server端收集的CPU利用率和内存分配情况，得到集群节点监控指标的实时数据，通过设置的阈值，实现对各个集群节点的监控；/n具体包括：(1)性能指标可视化；通过构建一个可视化窗口，将包括server端收集的CPU利用率、内存分配情况、该节点正在运行的任务及任务分配到的资源在内的实时数据动态地展示出来；(2)监控日志收集；将server端收集的CPU利用率、内存分配情况、以及各节点上每个任务资源占用情况，写入集群日志库；(3)监控频率控制；用于设置server端收集数据的频率，即每隔多长时间收集1次数据；/n通过底层的数据收集模块收集的集群节点数据，训练构建的预测节点负载的LSTM网络模型，为上层任务调度提供支持；具体实现方法如下：/n(1)预测主机的关键指标在设定时间内的走势；/n首先构建预测节点负载的LSTM网络模型，使用底层数据作为训练数据，不断修改LSTM网络模型指标参数，得到训练好的模型；然后，利用训练好的模型预测集群主机在给定时间周期内的资源使用情况，获得节点的任务处理特征，根据这些特征分配适合的任务，得到在一定时间段内可执行任务列表；最后，通过由实验得出的效果较佳的序列长度对数据进行分析处理；/n(2)计算集群能耗值；/n首先建立一个能耗计算模型；然后，通过在Hadoop集群上进行实际测试确定所建模型的指标系数；最后，在实际任务调度中计算集群能耗；/n作业调度模块，包括作业调度器，被配置为用于根据用户待处理的作业信息，使用训练好的LSTM模型预测的节点负载情况，进行任务调度；/n作业调度模块采用基于主机状态预测的调度算法，该算法需要提前获得用户输入的作业信息，作业信息包括CPU密集型或者内存密集型，然后在集群中选择一个能够满足能耗要求的节点进行处理；作业调度器根据用户的作业信息和预测的节点负载情况，给作业分配完成它的节点；/n作业调度模块功能的具体实现方法如下：/n(1)任务振荡迁移控制；(2)阈值触发机制；设置节点休眠或激活的阈值，为任务调度提供支撑；(3)检查是否满足用户计算的最小需求；调度程序将任务分配到活动节点，然后检查节点的资源与用户任务的需求，如果不满足则激活休眠节点，最后统计节点的CPU利用率和内存利用率；(4)节点休眠队列建议；根据节点的CPU利用率和内存利用率，选择休眠节点加入节点休眠建议队列。/n