[发明专利]一种面向Hadoop的动态调度方法

摘要

本发明提供一种面向Hadoop的动态调度方法，包括以下步骤S1设置每个节点的计算能力是一致的；且每个作业的执行时间随着执行次数的增加而线性减少；S2判断作业是否为同类作业，且获取并统计同类作业的执行情况；S3解析每个作业提交时所制定的期望执行时间；S4若判定作业为同类作业，则会建立代价模型得到作业权重值；S5若判断作业不为同类作业，则分配最低权重值；S6根据作业权重值调整作业实际资源量，提高实时作业的响应度。本发明可以有效地解决现有调度算法在调度实时作业上的不足，并对实时作业进行资源控制，以此提高实时作业效率的能力，从而达到用户精细控制作业执行速度的功能。

主权项

一种面向Hadoop的动态调度方法，其特征在于，包括以下步骤:S1：设置每个节点的计算能力为一致，且每个作业的执行时间随着执行次数的增加而线性减少；S2：判断作业是否为同类作业，且获取并统计同类作业的执行情况；S3：解析出每个作业提交时的期望执行时间；S4：若判断作业为同类作业，则建立代价模型以得到作业权重值；S5：若判断作业不为同类作业，则给该作业分配最低权重值；S6：根据作业权重值调整作业实际资源量，提高实时作业的响应度；所述步骤S4中，若判定作业为同类作业，则建立代价模型的步骤如下：根据Map作业和Reduce作业所产生的历史数据来决定代价模型；对Map作业和Reduce作业各个阶段进行分析，对作业持续时间进行更改，更改的作业持续时间为：D+A≥σnm×Cm+fσnr×Cr+fσCd+fσ/Cs]]>其中，D表示用户设定的期望工作时间、A表示查询到来的时间、σ表示输入数据大小、nm是Map任务的资源槽数目、Cm表示Map任务处理单元数据的速率、fσ表示Map任务输出端的数据量、nr表示Reduce任务的资源槽数目、Cr表示Reduce任务处理单元数据的速率、Cd表示单元数据网络传输的速率、Cs表示单元数据排序的速率；根据以上步骤，得到使作业在期望工作时间内完成的最低占用的资源数，根据这个资源数获取作业在集群中的权重值，根据作业权重值来动态地调整资源数。