[发明专利]一种异构分布式系统多副本任务容错调度方法

摘要

本发明属于计算机领域，具体涉及一种异构分布式系统多副本任务容错调度方法。本发明包括按照每个任务的负载和系统中每个节点的执行速度；计算每个任务在所有处理器节点的平均执行时间以及每条通信消息在所有链路的平均通信时间；采用底端优先级方法来计算任务集中任意任务的底端优先级根据任务的优先级将允许调度任务按照其优先级非递增的方式添加至调度队列；从调度队列的所有允许调度任务中选择优先级最高任务。本发明可进一步减小当前调度任务副本的开始执行时间，因此该方法能够进一步减小任务的调度Makespan。

主权项

一种异构分布式系统多副本任务容错调度方法，其特征在于：(1)按照每个任务的负载和系统中每个节点的执行速度，计算应用程序中每个任务vj被调度至系统中每个节点pk的执行时间ET(vj,pk)；对于存在依赖约束的应用程序G＝<V,E>，集合V＝{v1,v2,...vN}，任务数量N＝|V|，E为V中任务间的有向通信权重边集合；系统模型为无向图GS＝<P,L>，P＝{p1,p2,...,pM}是M个异构节点集合，M＝|P|，L是|L|个通信链路集合；任务集可靠性要求R；(2)计算每个任务在所有处理器节点的平均执行时间以及每条通信消息在所有链路的平均通信时间；(3)采用底端优先级方法来计算任务集中任意任务vj的底端优先级bl(vj)：式中succ(vj)为任务vj的直接后续任务集合，为任务vj在节点集合P中所有节点的平均执行时间，为消息ej,i在系统中链路集合L的所有链路的平均传输时间；(4)根据任务的优先级将允许调度任务按照其优先级非递增的方式添加至调度队列；(5)从调度队列的所有允许调度任务中选择优先级最高任务，计算优先级最高任务vj的可靠性要求rx，x为该任务在优先级队列中的位置：rx=R/Πi=0x-1ri′n-x+1]]>式中1≤x≤n，且符合任务的优先级排序；R为任务集可靠性要求；r′i为优先级队列中位置为i的任务实际所能达到的可靠性，r′0＝1；如果该任务为优先级最高任务即entry任务，可靠性要求(6)如果可靠性要求无效，即任务vj的可靠性要求rx≥1，那么拒绝调度任务，并返回；否则调用任务多副本通用调度方法来计算该任务的副本调度节点和开始执行时间；(7)将已经调度任务从调度队列中删除，同时将新的允许调度任务按照优先级添加到调度队列中；继续选择调度队列中下一个优先级最高任务进行调度，重复步骤(5)‑(7)直到所有任务都调度完成；所述的任务多副本通用调度方法为：(6.1)初始化相应的信息：将任务vi副本数量赋为0，映射节点赋为空，将空闲节点集合赋为节点集合P；(6.2)如果任务vj为entry任务，选取空闲节点队列中完成时间最早的节点执行任务副本，计算任务vj的可靠性P[Evj]：P[Evj]＝1‑∏pn∈proc(vj)(1‑exp{‑λpn*w(vj)/w(pn)})proc(vj)为任务vj的映射节点集合，λpn为处理器节点pn的永久性故障概率，w(vj)表示任务vj的负载大小，w(pn)表示节点pn单位时间内可执行的计算量；如果不能满足任务可靠性，那么继续选取空闲队列中完成时间最早的节点来执行任务副本，然后计算任务的可靠性，直到满足任务可靠性要求；如果直到空闲节点队列为空，任务可靠性仍然不能满足要求，在后续任务副本调度时通过可靠性计算公式来弥补任务可靠性损失；(6.3)如果任务vj存在先行任务，调用基于遗传算法的任务多副本通用调度方法进行副本调度；所述的基于遗传算法的任务多副本通用调度方法为：(6.3.1)初始化交叉概率pc、变异概率pm、种群数量GN、种群进化次数EN；(6.3.2)生成初始种群：计算当前调度任务的先行任务vi的映射在节点pk的任务副本的消息到达节点pn的时间ave(vik,pn)=max{FT(vi,pk),rdy(lk,n)}+w(ei,j)/w(lk,n)]]>式中FT(vi,pk)为任务vi在节点pk的完成执行时间，rdy(lk,n)为链路lk,n的准备好通信时间即链路的最后一个消息通信完成时间，w(ei,j)为任务vi与任务vj间通信消息ei,j的大小，w(lk,n)为节点pk与节点pn间链路lk,n单位时间内可以传输的数据量，如果映射节点相同，即pk＝pn，那么时间rdy(lk,n)为0，通信开销为0，任务编码方案需将每个节点在最小有效开始执行时间位置和最大有效开始执行时间位置间的所有位置编码为个体中基因，任务vj在处理器pn的最小有效执行时间位置EST(vj,pn)计算；EST(vj,pn)=max{maxvi∈pred(vj){minvik∈rep(vi){ave(vik,pn)}},rdy(pn)}]]>式中pred(vi)为任务vi的直接先行任务集合；rep(vi)为任务vi的副本集合；rdy(pn)为当前调度情况下节点pn最后映射任务的完成执行时间PFT(pn)PFT(pk)＝maxvi∈V,pk∈proc(vi){FT(vi,pk)}式中proc(vi)任务vi所映射的处理器集合；任务vj在处理器pn的最大有效开始执行时间位置LST(vj,pn)LST(vj,pn)=max{maxvi∈pred(vj){maxvik∈rep(vi){ave(vik,pn)}},rdy(pn)}]]>从节点空闲队列中选取处理器节点，在处理器节点选取一个有效开始执行时间位置，映射当前调度任务的副本，计算任务副本的可靠性，如果该任务的可靠性不满足要求，继续从节点空闲队列中选取处理器节点并在节点选取任务有效开始执行时间位置，直到任务的可靠性满足要求，将任务副本映射方案作为种群中的一个个体，重复生成个体，直到达到种群规模，如果任务副本数量为M时，任务的可靠性还没有达到可靠性要求，仍将该任务副本映射方案作为种群中的一个个体，因为后续任务调度时可适量补偿该任务的可靠性损失，P[Evj]=1-Πpn∈proc(vj)(1-ARvjpn)=1-Πpn∈proc(vj)(1-(Πvin∈Prepn∩tvin≤tvjn(e-λpn*w(vi)/w(pn))))×Πvl∈pred(vj)(1-Πpk∈proc(vl),ave(vlk,pn)≤ST(vj,pn)(1-(Πetp,q∈ON(lk,n)∩etp,q≤etl,j(e-λlk,n*w(ep,q)/w(lk,n))))))]]>式中为任务vj映射在节点pn的副本的可靠性，为节点pn上当前调度任务副本之前执行的任务副本Prepn为节点pn执行的任务副本集合；ST(vj,pn)为任务vj在节点pn的开始执行时间；etp,q为任务vp与vq间通信消息的开始通信时间；ON(lk,n)为在链路lk,n发生的所有的通信；etp,q≤etl,j(vp,vq∈V)为链路lk,n上通信消息ep,q的开始通信时间小于或等于消息el,j的开始通信时间；λlk,n为节点pk与节点pn间链路lk,n的失效概率；如果任务副本和的映射节点相同，那么其链路通信时间为0，该通信消息的可靠性为1；映射任务的有效开始执行时间位置对应的编码基因值为1，对应没有映射任务的位置为0，在任务映射时，每个节点对应的基因中最多有一个位置的值为1，其他位置的值为0；编码还包含每个节点在个体编码中的有效映射位置个数，该位置由数组s表示，如果任务vj分配给节点pn中第k个有效开始执行时间位置，那么个体gj中的第l个基因gj,l＝1，|si|为数组s中si的所代表节点pi的有效映射位置个数，|s0|＝0，编码个体的长度为数组元素si在个体gj对应的基因集合为(6.3.3)按照交叉概率pc对种群中的所有个体进行交叉操作：如果随机数小于交叉概率pc，对于选定的两个个体，选择数组s中在两个个体中对应编码基因值不相同的相同节点，将两个个体中选取的所有节点所对应的基因进行交换，将生成的新个体添加至种群；(6.3.4)按照变异概率pm对种群中的所有个体进行变异操作：新生成个体添加至种群；(6.3.5)完成时间评估函数FTim和可靠性评估函数FRel计算种群中每个个体gi的适应度，将所有个体根据FTim和FRel函数值由大到小排列得到两个排序个体队列FTim(gi)=1-max1≤k≤M{FT(vj,pk)ΣΣq=0k-1|sq|<p<1+Σl=0k|sl|gi,p=1}]]>FRel(gi)=P[Evj]=1-Π1≤k≤M,ΣΣq=0k-1|sq|<p<1+Σl=0k|sl|gi,p=1(1-ARvjpk);]]>(6.3.6)基于RR机制选择两个队列中的个体作为新种群中的个体，直到达到种群规模要求；(6.3.7)如果不满足停止条件，重复步骤(6.3.3)‑(6.3.6)，在规定的进化次数之内可靠性或者Makespan没有提高，停止求解。