[发明专利]一种分布式任务分配方法

权利要求书

1.一种分布式任务分配方法，其特征在于，包括下述步骤：

初始化作业步骤，作业被初始化分解为多个任务，主控制节点为该任务建立任务运行状态表；

初次任务分配步骤，将第一个任务分配给计算节点的同时，将与第一个任务相同的备份任务分配给预测节点；

预测磁盘空间步骤，预测节点计算该备份任务所需要的磁盘空间并将计算结果反馈给主控制节点；

更新任务运行状态表步骤，主控制节点根据来自预测节点的所述计算结果更新所述任务运行状态表；

任务可运行空间预测步骤，在分配任务给计算节点之前时，主控制节点推测该计算节点的任务状态并且根据推测到的任务状态以及所述任务运行状态表估算任务可运行空间，其中，主控制节点根据规定算法估算所述计算节点的任务可运行空间是否满足该任务，所述规定算法为计算式（1），其中，计算式（1）：任务可运行空间 = 剩余磁盘空间 – ∑所有正执行任务未写入文件量；任务分配步骤，在所述估算的任务可运行空间大于该任务运行所需空间的情况下，将该任务分配给该计算节点，否则重新选择计算节点；以及

计算节点监控步骤，计算节点定期遍历当前计算节点下的所有任务，如果剩余空间不足以保证某个任务执行，则该计算节点主动中止该任务并向主控制节点反馈，

其中，所述预测节点对于一个作业而言，只运行一次map任务或reduce任务，并把预测参数发给主控制节点，之后不再接收该作业的其他同类型作业。

2.如权利要求1所述的分布式任务分配方法，其特征在于，

所述任务可运行空间预测步骤包括下述子步骤：

在分配任务给计算节点之前时，主控制节点向该计算节点请求当前所有运行任务状态，所述运行任务状态至少包括总任务数、各任务执行状态、剩余磁盘空间；

主控制节点根据自身所维护的任务运行状态表，根据规定算法估算所述计算节点的任务可运行空间是否满足该任务；

如果任务可运行空间大于该任务实际所需空间，则将任务分配给该计算节点，否则，则重新选择任务计算节点。

3.如权利要求1所述的分布式任务分配方法，其特征在于，

所述计算节点监控步骤包括下述子步骤：

计算节点定期遍历当前计算节点下的所有任务；

如果剩余空间不足以保证某个任务执行，则该计算节点主动中止该任务并向主控制节点反馈；

主控制节点根据该计算节点的反馈更新任务状态表，并寻找空闲的计算节点，并把当前中止的任务再次分配给新的计算节点。

4.如权利要求1～3任意一项所述的分布式任务分配方法，其特征在于，

所述任务状态表中包括作业ID、任务ID、任务类型、所在节点ID、所需磁盘空间。

5.如权利要求4所述的分布式任务分配方法，其特征在于，

在所述更新任务运行状态表步骤中，主控制节点根据来自预测节点的所述计算结果，对所述任务运行状态表进行相应的增加、删除、修改。

6.如权利要求4所述的分布式任务分配方法，其特征在于，

所述任务类型包括map任务和reduce任务。