[发明专利]一种MapReduce任务的容错调度方法

权利要求书

1.一种支持容错的MapReduce任务调度算法，其特征在于：算法分为两个部分，分别为运行master节点和worker节点上。

2.master节点会将所有的mapper任务和reducer任务进行预分配。

3.master节点周期性地发送探测消息，以检测worker节点的状态，判断是否有worker节点发生故障或失效。

4.每个worker节点会具有k个副本节点。

5.worker节点会为每个mapper任务创建一个本地(local)检查点文件和一个全局索引(index)检查点文件。

6.当mapper任务内存缓冲区充满时，启动一次中间结果保存操作，将中间结果数据缓存到本地文件系统；缓存完成后，将输入流的读写位置和本次任务ID(position_i, map_id) 记录到local检查点文件中。

7.当mapper完成中间结果保存时，根据输入流产生key-value输出的稀疏情况，选择下述两种方法之一，将任务执行过程中的统计信息，记录到全局index检查点文件中。

8.针对产生输出的输入流，记录输入流产生key-value对的offset位置 (T₁,offset)到全局index文件中，在副本节点上执行时可以直接从该offset处开始。

9.针对无输出的输入流范围，一条记录格式为(T₂,offset_s,offset_e)，offset_s为该输入流范围的起始偏移，offset_e为结束偏移，表示输入流在offset_s,和offset_e之间没有输出，当在副本节点上重新执行时可直接跳过该范围。

10.当发生任务失效时，只需读取保存在本地的检查点文件，将出错任务的状态和执行恢复到检查点处，当发生节点失效时，失效节点上的mapper任务会被重新调度到可用的副本节点上执行，副本节点能够根据索引检查点快速构造出失效节点上执行的mapper任务的中间结果数据，大大减少了重调度任务的执行时间。