[发明专利]MapReduce中任务的调度方法和流水化执行方法

摘要

本发明公布一种MapReduce系统中的任务调度方法和流水化执行方法，将有依赖关系的任务根据依赖关系和优先程度进行任务调度，使得有依赖关系的任务之间的执行重叠最大化：任务之间的依赖关系用DAG关系图表示，根据关键路径算法获得关键任务，通过流水化任务执行方法执行当前任务运行队列中的任务：执行上游map任务；进入上游reduce阶段；当输出第一个block时启动下游map阶段，分发一个map任务，同时设置下游任务map数量为最大数值；上游任务完成时设置下游任务map数量为正确数值；下游任务继续执行map任务和reduce阶段至执行完成。本发明方法可提高系统的资源利用率和程序的执行效率，提升系统运行性能。

主权项

一种MapReduce系统中的任务调度方法，所述任务调度方法将有依赖关系的任务根据依赖关系和优先程度进行任务调度，使得有依赖关系的任务之间的执行重叠最大化，具体包括如下步骤：1)用户提交一组任务到MapReduce框架系统中，设定当前任务运行队列为空；2)该组任务之间的依赖关系用DAG关系图表示；MapReduce的Master节点更新得到该组任务的DAG关系图；3)Master节点根据任务时间预测方法预测得到该组任务中每一个任务的执行时间；4)当当前任务运行队列为空时，若DAG关系图中也为空，则系统执行完毕，结束操作；若DAG关系图中不为空，则根据DAG关系图和关键路径算法获得关键路径和关键任务，根据优先程度从DAG关系图中找到一个或多个任务添加到当前任务运行队列中，并从DAG关系图中将所述一个或多个任务删除，转入执行步骤5)；所述关键路径算法包括如下步骤：41)根据DAG关系图中的依赖关系，通过式3计算每个任务的最早开始时间：b(i)＝max{b(j)+max{Tjob reduce(j),Tjob map(i)}}，<j,i>∈E  (式3)式3中，b(i)表示任务i的最早开始时间；起始任务s的最早开始时间是b(s)＝0；Tjob reduce(j)表示任务j的reduce阶段的执行时间；Tjob map(i)表示任务i的map阶段的执行时间；Tjob reduce(j)和Tjob map(i)均通过步骤3)所述任务时间预测方法得到；<j,i>∈E表示边<j,i>存在在边的集合E中，也就是任务i依赖于任务j；42)再根据步骤41)计算得到的每个任务的最早开始时间，通过式4计算每个任务的最晚结束时间：e(i)＝min{e(j)‑Tjob_reduce(j)‑max{0,Tjob_map(j)‑Tjob_reduce(i)}}，<i,j>∈E  (式4)式4中，e(i)表示任务i的最晚结束时间；起始条件是终止任务t的最晚结束时间e(t)＝b(t)；Tjob_reduce(i)和Tjob_reduce(j)分别表示任务i和j的reduce阶段的执行时间；Tjob_map(j)表示任务j的map阶段的执行时间；<j,i>∈E表示边<j,i>表示边<j,i>存在在边的集合E中，也就是任务i依赖于任务j；43)获得所有满足b(i)+Tjob_reduce(i)＝e(i)的任务，作为关键任务；所述关键任务的优先程度比非关键任务的优先度高；5)执行当前任务运行队列的队首任务，并将该任务从当前任务运行队列中删掉，再转入步骤4)。