[发明专利]基于资源信息增益的Hadoop集群瓶颈检测方法

摘要

本发明公布了基于资源信息增益的Hadoop集群瓶颈检测算法。该算法包括三部分：监测集群中每个节点的响应满意度RS，当RS下降到一定阈值时，则判断该节点出现瓶颈；针对出现瓶颈的节点采集样本，并对样本进行离散化处理；根据样本，计算出各资源的在样本中的信息增益，将信息增益较大的作为瓶颈资源。本发明方法可清楚地了解各个组件运行情况，优化资源利用率，提高Hadoop系统的可扩展性。

主权项

1.一种基于资源信息增益的Hadoop集群瓶颈检测方法，其特征在于，在Hadoop平台内设有瓶颈监控模块，该模块按以下步骤进行检测：(1)检测并记录集群中各节点的资源使用率情况和响应满意度RS，响应满意度RS用于评价各个节点的性能，当响应满意度RS低于阈值60％时，则判断该节点出现瓶颈；记Tm为期待最小响应时间，Ts为实际响应时间；当Tm大于Ts时，节点的响应满意度RS为100％；当Tm小于等于Ts时，节点的响应满意度RS为Tm/Ts×100％；(2)对检测到出现瓶颈的节点，采集各种资源的使用率及响应满意度RS的样本数据，并对样本进行离散化处理；(3)通过样本数据计算节点中各个资源的信息增益，通过比较，将信息增益较大的作为节点的瓶颈资源；所述的信息增益为样本划分前后信息熵的差值，即样本中资源A的信息增益＝整个样本集所含的信息熵‑按资源A划分后的样本子集的信息熵。