[发明专利]一种基于MapReduce的任务调度方法

摘要

本发明涉及当前大数据领域中的一个非常重要的编程计算框架MapReduce中的任务调度算法，公开了一种基于MapReduce的任务调度算法，在异构集群环境下，基于蚁群算法的多任务调度算法，通过衡量计算节点的处理性能，根据新的任务目标转移函数和新的节点的更新规则，按照本地计算原则将任务分配给各个计算节点。本发明基于经典的蚁群算法进行大规模的优化，提出了一种在异构集群环境下的多任务调度算法并在开源Hadoop平台做了小作业、负载和本地性等场景的测试和性能分析，结果表明在执行效率及任务均衡性方面得到了很大的提升。

主权项

一种基于MapReduce的任务调度方法，在异构集群环境下，基于蚁群方法的多任务调度方法，其特征在于：通过衡量计算节点的处理性能，根据新的任务目标转移函数和新的节点的更新规则，按照本地计算原则将任务分配给各个计算节点，所述新的任务目标转移函数是将Task作为系统均衡和调度的核心对象，选取作业总体执行时间，节点负载度作为评判标准，并且新增了一个带有FIFO性质的任务池来记录正处理的作业和对应分解的 Map 任务集，选择处理能力强和任务队列较短的请求节点进行任务分配作为目标转移函数建模指标，由 Hadoop 调度器来维护，在获得作业之后调度器会将该作业和分解的任务一起添加到任务池中，进行调度；所述目标转移函数由公式1.4确定，     (1.4)其中，任务tk在计算节点vi上的预计执行时间耗费为Texec(tk,vi)，任务tk分配到vi的网络传输时间为Ttrans(tk,vi)，Time(tk,vi)表示任务在上的完成时间，等于执行时间与网络传输时间之和，Tasklistlength(vi)表示计算节点vi中待执行的任务队列长度，其大小为队列中所有任务完成的时间之和，λ1,λ2为求解公式中的权重比值；f(t,tk,vi)为初始转移概率，是在t时刻，任务tk分配到请求节点 vi上的转移概率；τ(t，vi)表示在时刻t，任务tk在工作节点vi上的信息素浓度，η(t，vi)为计算节点vi的原始能力即η(t，vi)= τ(0，vi)= τVi (0)，α和β分别是衡量τ和η相对重要性的表示参数。