[发明专利]一种基于负载均衡的推测式Hadoop调度方法

摘要

提出一种基于负载均衡的推测式Hadoop调度方法，首先需要判定慢任务，然后选取快节点执行慢任务的备份任务，在执行选定的慢任务的备份任务时保证集群系统的负载均衡。提出的所述方法通过设计了合理简单的慢任务确定方法及选取快节点执行备份任务的策略，优化了作业执行性能。这种策略不仅考虑了作业执行性能，也考虑了集群中负载均衡现象。该方法避免了集群负载失衡现象的发生，提高了Hadoop集群整体的性能。

主权项

1.一种基于负载均衡的推测式Hadoop调度方法，其特征在于，在集群系统中，将所有集群节点信息放置在队列中形成节点队列；包括：S1：根据任务的剩余时间判定任务是否为慢任务，将确定的慢任务的备份任务放入慢任务队列；S2：根据慢任务在节点上出现的多少判断节点队列中的队头节点是否为快节点；如果是快节点，则判断所述队头节点上当前运行的任务数是否超出集群中所有节点上运行的任务总数的平均值的预设百分比；如果没有超出所述百分比，则选择该队头节点执行所述慢任务的备份任务，并将该队头节点从节点队列中删除；如果超出所述百分比，则将所述队头节点更新为所述节点队列中的队尾节点；如果不是快节点，则将所述队头节点从节点队列中删除；S3：从慢任务队列中选取所述慢任务的备份任务，在负载低的快节点中执行所述慢任务的备份任务。