[发明专利]Hadoop同构集群下的资源参数优化方法

权利要求书

1.一种Hadoop同构集群下的资源参数优化方法，其特征在于，包括

步骤一：建立Hadoop同构集群的作业特征库：任选一种以上典型作业，获取典型作业的资源占用特征F、MAX_REDUCERS最优取值和MAX_MAPPERS最优取值，将其加入作业特征库；其中，

获取典型作业的资源占用特征F的方法是：在默认配置下，运行该作业；在作业执行过程中，获取任意一个子节点的资源占用特征F0=U11U21...Uj1...Um1U12U22...Uj2...Um2..................U1kU2k...Ujk...Umk..................U1rU2r...Ujr...Umr;]]>其中，将作业执行时间划分为相等的m个时间段，为在第j个时间段内第k种资源的平均占用情况，r为资源总数；以该子节点的资源占用特征F₀作为该作业的资源占用特征F；

获取典型作业的MAX_REDUCERS最优取值和MAX_MAPPERS最优取值的方法是：

首先获取MAX_REDUCERS最优取值：在默认配置下，运行该作业，得到作业执行时间T；

调整配置，以步长1来增大MAX_REDUCERS的取值后再次运行该作业，获取作业执行时间；当MAX_REDUCERS的值增加到i时，如果T_i＞T_i-1，则将i-1作为MAX_REDUCERS的最优取值；

然后获取MAX_MAPPERS最优取值：在MAX_REDUCERS最优取值的配置下，运行该作业，得到作业执行时间T'；调整配置，以步长1来增大MAX_MAPPERS的取值后再次运行该作业，得到作业执行时间；当MAX_MAPPERS的值增加到n时，如果T_n＞T_n-1，则将n-1作为MAX_MAPPERS的最优取值；

步骤二：在默认配置下，用新作业s的部分数据G来运行作业，按照步骤一中获取典型作业的资源占用特征F的方法来获取新作业s的资源占用特征F_s；

步骤三：如果新作业s的资源占用特征F_s达到资源占用饱和状态，则以默认配置的MAX_MAPPERS值和MAX_REDUCE值作为新作业s的MAX_MAPPERS最优取值和MAX_REDUCE最优取值；否则，计算作业特征库中每一个作业的资源占用特征F与新作业s的资源占用特征F_s的相对距离Distance(F,Fs)=ΣkrΣjm|F[k][j]-Fs[k][j]|m;]]>

步骤四：如果存在一个以上Distance(F,F_s)＜0.1，则取作业特征库中与F_s的相对距离最小的那个作业的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值，作为新作业s的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值；否则，按照步骤一中获取典型作业的MAX_REDUCERS最优取值和MAX_MAPPERS最优取值的方法，来确定新作业s的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值；

步骤五：以新作业s的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值配置集群后，完整运行新作业。

2.如权利要求1所述的Hadoop同构集群下的资源参数优化方法，其特征在于，所述新作业s的部分数据G为1G字节。