[发明专利]一种基于MapReduce的任务调度方法

权利要求书

1.一种基于MapReduce的任务调度方法，在异构集群环境下，基于蚁群方法的多任务调度方法，其特征在于：通过衡量计算节点的处理性能，根据新的任务目标转移函数和新的节点的更新规则，按照本地计算原则将任务分配给各个计算节点，所述新的任务目标转移函数是将Task作为系统均衡和调度的核心对象，选取作业总体执行时间，节点负载度作为评判标准，并且新增了一个带有FIFO性质的任务池来记录正处理的作业和对应分解的 Map 任务集，选择处理能力强和任务队列较短的请求节点进行任务分配作为目标转移函数建模指标，由 Hadoop 调度器来维护，在获得作业之后调度器会将该作业和分解的任务一起添加到任务池中，进行调度；

所述目标转移函数由公式1.4确定，

(1.4)

其中，任务t_k在计算节点v_i上的预计执行时间耗费为T_exec(t_k,v_i)，任务t_k分配到v_i的网络传输时间为T_trans(t_k,v_i)，Time(t_k,v_i)表示任务在上的完成时间，等于执行时间与网络传输时间之和，Task_listlength(v_i)表示计算节点v_i中待执行的任务队列长度，其大小为队列中所有任务完成的时间之和，λ₁,λ₂为求解公式中的权重比值；

f(t,t_k,v_i)为初始转移概率，是在t时刻，任务t_k分配到请求节点 v_i上的转移概率；τ(t，v_i)表示在时刻t，任务t_k在工作节点v_i上的信息素浓度，η(t，v_i)为计算节点v_i的原始能力即η(t，v_i)= τ(0，v_i)= τV_i (0)，α和β分别是衡量τ和η相对重要性的表示参数。

2.根据权利要求1所述的一种基于MapReduce的任务调度方法，其特征在于：还包括一种基于多样性选择的目标转移函数，由公式1.8确定，

(1.8)

其中，0≤q₀≤1是初始设定的参数，q是一个随机数，q∈[0,1]；

τ(v_i)表示任务在工作节点v_i上的信息素浓度函数，η(v_i)为计算节点v_i的能力函数，α和β分别是衡量τ和η相对重要性的表示参数。