[发明专利]一种Hadoop集群中的作业调度方法和作业调度器

摘要

本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，根据作业的优先级、提交时间和任务运行数对Hadoop集群中的作业进行评价，并根据评价结果自适应地选择作业，缩短了优先级较高的小作业的等待时间，保证了对优先级高的小作业的公平性，同时缩短了多作业的整体运行时间，避免了局部最优的出现，提高了作业调度的适应性和调度合理性，改善了Hadoop集群处理任务的效率和整体性能。

主权项

一种Hadoop集群中的作业调度方法，其特征在于，包括以下步骤：S1、获取所述Hadoop集群中的各个队列占用的资源量，根据各个队列占用的资源量，计算各个队列的资源使用率；S2、根据各个队列的资源使用率，选择资源使用率最低的队列作为当前队列；S3、获取当前队列中的各个作业的优先级、提交时间、未完成任务数和总任务数，根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值；其中，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值包括：计算当前队列中的各个作业的优先级与当前队列中的所有作业的优先级之和的比值，将该比值作为各个作业的优先级因子；计算当前时间与当前队列中的各个作业的提交时间的差值，将该差值与当前时间的比值作为各个作业的时间因子；计算当前队列中的各个作业的未完成任务数和总任务数的比值，将该比值作为各个作业的任务量因子，并根据各个作业的优先级因子、时间因子和任务量因子，计算各个作业的评价值；S4、根据当前队列中的各个作业的评价值，从当前队列中选择当前作业；S5、从当前作业中选择任务，并向选择的任务分配资源。