[发明专利]MapReduce中任务的调度方法和流水化执行方法

权利要求书

1.一种MapReduce系统中的任务调度方法，所述任务调度方法将有依赖关系的任务根据依赖关系和优先程度进行任务调度，使得有依赖关系的任务之间的执行重叠最大化，具体包括如下步骤：

1)用户提交一组任务到MapReduce框架系统中，设定当前任务运行队列为空；

2)该组任务之间的依赖关系用DAG关系图表示；MapReduce的Master节点更新得到该组任务的DAG关系图；

3)Master节点根据任务时间预测方法预测得到该组任务中每一个任务的执行时间；

4)当当前任务运行队列为空时，若DAG关系图中也为空，则系统执行完毕，结束操作；若DAG关系图中不为空，则根据DAG关系图和关键路径算法获得关键路径和关键任务，根据优先程度从DAG关系图中找到一个或多个任务添加到当前任务运行队列中，并从DAG关系图中将所述一个或多个任务删除，转入执行步骤5)；

所述关键路径算法包括如下步骤：

41)根据DAG关系图中的依赖关系，通过式3计算每个任务的最早开始时间：

b(i)＝max{b(j)+max{Tjob reduce(j),Tjob map(i)}}，<j,i>∈E (式3)

式3中，b(i)表示任务i的最早开始时间；起始任务s的最早开始时间是b(s)＝0；Tjobreduce(j)表示任务j的reduce阶段的执行时间；Tjob map(i)表示任务i的map阶段的执行时间；Tjob reduce(j)和Tjob map(i)均通过步骤3)所述任务时间预测方法得到；<j,i>∈E表示边<j,i>存在在边的集合E中，也就是任务i依赖于任务j；

42)再根据步骤41)计算得到的每个任务的最早开始时间，通过式4计算每个任务的最晚结束时间：

e(i)＝min{e(j)-Tjob_reduce(j)-max{0,Tjob_map(j)-Tjob_reduce(i)}}，<i,j>∈E (式4)

式4中，e(i)表示任务i的最晚结束时间；起始条件是终止任务t的最晚结束时间e(t)＝b(t)；Tjob_reduce(i)和Tjob_reduce(j)分别表示任务i和j的reduce阶段的执行时间；Tjob_map(j)表示任务j的map阶段的执行时间；<j,i>∈E表示边<j,i>表示边<j,i>存在在边的集合E中，也就是任务i依赖于任务j；

43)获得所有满足b(i)+Tjob_reduce(i)＝e(i)的任务，作为关键任务；所述关键任务的优先程度比非关键任务的优先度高；

5)执行当前任务运行队列的队首任务，并将该任务从当前任务运行队列中删掉，再转入步骤4)。

2.如权利要求1所述MapReduce系统中的任务调度方法，其特征是，步骤2)中的任务之间的依赖关系为第一种依赖关系。

3.如权利要求1所述MapReduce系统中的任务调度方法，其特征是，步骤3)所述任务时间预测方法采用局部权重线性回归方法，具体通过式2计算得到预测任务执行的时间：

T_j＝J*Inver(X*(W*Trans(X)))*(Y*(W*Trans(Y))) (式2)

式2中，T_j是当前要预测的任务j的预测时间结果；J是当前要预测的任务j的输入数据量；Inver函数是求一个矩阵的逆矩阵；X是任务J的历史数据的大小，是一个行向量；Y是对于X任务的执行时间，也是一个行向量；W是每个历史任务对应的权重，是一个对角矩阵；Trans函数是一个将矩阵转置的函数。