[发明专利]Hadoop云平台下基于负载监控的混合调度方法

摘要

本发明公开了一种Hadoop云平台下基于负载监控的混合调度方法。通过分析Max‑D算法、FIFO算法以及公平调度算法的调度效果和各自应用场景，提出一个基于负载监控的混合调度策略。本发明通过对系统负载的实时监控，在三个算法中选择最合适现负载状况的调度算法。相比单一的使用一种调度算法，基于负载监控的混合调度策略有着明显的优势，能够适应Hadoop系统中负载的变化，使得系统能够保持比较好的性能。

主权项

一种Hadoop云平台下基于负载监控的混合调度方法，其特征在于方法如下：(1)Hadoop系统中的资源taskTracker向中心节点jobTracker持续发送自身节点的实时信息，实时信息包括是否空闲、正在执行任务的已执行时间以及执行进度；(2)对系统负载进行实时监控，根据资源发送的实时信息计算系统内的负载程度：(3)当有资源向中心节点请求任务task时，根据实时负载程度选择调度方案：在系统资源低载情况下，使用FIFO调度方法，降低调度消耗；在负载平衡情况下使用公平调度方法，提高系统的公平性，保证作业都能得到执行；在过载情况下使用Max‑D调度方法，使得作业平均完成时间缩短；Max‑D调度方法实现流程如下：第一步：确定云环境中所有计算资源以及空闲资源的集合；第二步：对待分配作业按作业提交先后排序成队列，新提交的作业被加入该队列尾部；第三步：对排序后的作业进行调度，采用Max‑D方法选择合适的资源进行执行；Max‑D方法，其步骤如下：步骤3.1：对所有待分配作业，计算作业在所有计算资源上的平均估计运行时间；步骤3.2：计算每个作业的平均估计运行时间以及其在单个空闲的计算资源上最少的运行时间之间的差值Di，并记录该计算资源；步骤3.3：在所有作业中找到差值Di最大的作业，并将该Di记为D；步骤3.4：若D≥0，则分派作业给记录的资源进行处理，同时将该资源从空闲资源集合中去除；若D＜0，则重新确定分配的资源和空闲资源集合，将完成其分配作业的资源加入到空闲资源集合中，然后返回步骤3.1；步骤3.5：重复步骤3.2到步骤3.4直到为所有申请作业的资源分配了作业；步骤3.1中计算资源平均估计完成时间方法如下：假设云环境是由n个未分配作业T＝{t1,t2,...tn}和m个资源R＝{r1,r2,...rm}组成，每个资源同时只能对一个作业进行处理；资源中空闲的资源个数为k，记为R'＝{r1',r2',...rk'}，其中k<m；作业ti在资源rj上的估计运行时间为TCirj，则作业ti在所有资源上的平均运行时间为作业ti在资源rj上的完成时间，是正在rj上执行的作业的剩余完成时间以及作业ti在rj上的完成时间之和；假设在云环境中，对于同一类作业，资源处理的速率与其处理的数据量成正比，作业i在资源r上的预计完成时间为正在资源r上运行作业的剩余完成时间以及作业i在资源r上执行时间之和：TCiri(k+1)=RTCirj(k)×1-propro+[(1-ρ)TCirj(k)M(k)+ρRTCirj(k)M(k)pro]×M(k+1),rj∈R---(1)]]>其中，TCirj(k+1)表示将资源rj处理作业ti所需的完成时间，TCirj(k)表示前一个作业在资源rj上的预测完成时间；M(k)是运行该作业所需时间与运行单位作业所需时间的比值；RTCirj(k)表示前一个作业在rj上实际运行时间，pro(0＜pro≤1)表示前一个作业的完成比例，如果资源rj是空闲资源，即前一个作业已经执行完成，则pro＝1，上述公式可以简化为TCirj(k+1)=[(1-ρ)TCirj(k)M(k)+ρRTCirj(k)M(k)]×M(k+1),rj∈R′---(2)]]>通过该资源上前一个作业的估计执行时间TCirj(k)和实际执行时间RTCirj(k)，使用公式(1)进行估算得到未调度的作业在某个资源上的执行时间；在系统刚启动时，对于所有资源，令TCirj(0)＝RTCirj(0)＝0  (3)待执行作业首先选择未执行过作业的资源进行执行，在资源执行完第一个作业后，便得到了作业的实际执行时间RTCirj(1)，令TCirj(1)等于RTCirj(1)，则之后作业的运行时间按照公式(1)进行估算。