[发明专利]Hadoop多作业环境下自学习反馈的任务调度方法

摘要

本发明涉及高性能集群领域的任务调度方法，Hadoop的每个工作节点通过作业提交阶段的解析后，获取到符合任务的实际阶段权值，通过几何平均值方法的处理后，为该作业的其余任务建立阶段权值的参考标准；在任务反馈阶段，该作业的其余任务采用所述参考标准，结合子阶段的进度对任务剩余执行时间进行估计；在作业反馈阶段，将所有任务的阶段权值用分段的方式求取几何平均值，并建立作业名-阶段权值映射记录，作为该节点上后续作业执行的参考。本发明能够在多作业并行执行的环境下分别对各个作业的任务进行自主学习和信息反馈，获得更精确的阶段权值估计，提高任务剩余执行时间预估的准确性，进而提高落后任务选择的命中率，促进集群资源的优化利用。

主权项

一种Hadoop多作业环境下自学习反馈的任务调度方法，其特征在于包括以下阶段步骤： 步骤1、在作业进行解析阶段，为每个节点上的每个作业设置任务阶段权值的初始值，如果有相同类型的作业在该节点上执行过则以已完成作业反馈的阶段权值信息设置初始值；否则，以该节点上完成的各种作业中出现频率最高的阶段权值信息为其设置初始值；步骤2、在自学习阶段，利用该节点上该作业已经完成的前若干个Map任务和Reduce任务的实际执行时间，分别计算出其相应子阶段执行时间的比例，转化成阶段权值；利用求几何平均值的方法分别修正该作业前若干个Map任务和Reduce任务的阶段权值；步骤3、在任务反馈阶段，将修正过的阶段权值作为该作业标准的阶段权值设置，该节点上该作业剩余的任务启动时均采用该标准设置；结合任务子阶段的进度，估算每个任务执行的出剩余的执行时间，作为落后任务筛选的判别条件；步骤4、在作业所有的任务完成后进入作业反馈阶段，该阶段分别对该节点上该作业的所有Map任务和Reduce任务分别进行分阶段的求取几何平均值，并在节点上更新作业名‑阶段权值映射记录，作为后续该节点上作业执行的参考。