[发明专利]一种分布式任务分配方法

摘要

本发明涉及分布式任务分配方法。该方法包括下述步骤：作业被初始化分解为多个任务，主控制节点为该任务建立任务运行状态表；将第一个任务分配给计算节点的同时，将与第一个任务相同的备份任务分配给预测节点；预测节点计算该备份任务所需要的磁盘空间并将计算结果反馈给主控制节点；主控制节点根据来自预测节点的计算结果更新任务运行状态表；在分配任务给计算节点之前时，主控制节点推测该计算节点的任务状态并且根据推测到的任务状态以及任务运行状态表估算任务可运行空间；在估算的任务可运行空间大于该任务运行所需空间的情况下，将该任务分配给该计算节点，否则重新选择计算节点。

主权项

1.一种分布式任务分配方法，其特征在于，包括下述步骤：初始化作业步骤，作业被初始化分解为多个任务，主控制节点为该任务建立任务运行状态表；初次任务分配步骤，将第一个任务分配给计算节点的同时，将与第一个任务相同的备份任务分配给预测节点；预测磁盘空间步骤，预测节点计算该备份任务所需要的磁盘空间并将计算结果反馈给主控制节点；更新任务运行状态表步骤，主控制节点根据来自预测节点的所述计算结果更新所述任务运行状态表；任务可运行空间预测步骤，在分配任务给计算节点之前时，主控制节点推测该计算节点的任务状态并且根据推测到的任务状态以及所述任务运行状态表估算任务可运行空间，其中，主控制节点根据规定算法估算所述计算节点的任务可运行空间是否满足该任务，所述规定算法为计算式（1），其中，计算式（1）：任务可运行空间 = 剩余磁盘空间 – ∑所有正执行任务未写入文件量；任务分配步骤，在所述估算的任务可运行空间大于该任务运行所需空间的情况下，将该任务分配给该计算节点，否则重新选择计算节点；以及计算节点监控步骤，计算节点定期遍历当前计算节点下的所有任务，如果剩余空间不足以保证某个任务执行，则该计算节点主动中止该任务并向主控制节点反馈，其中，所述预测节点对于一个作业而言，只运行一次map任务或reduce任务，并把预测参数发给主控制节点，之后不再接收该作业的其他同类型作业。