[发明专利]一种Hadoop集群中的作业调度方法和作业调度器

权利要求书

1.一种Hadoop集群中的作业调度方法，其特征在于，包括以下步骤：

S1、获取所述Hadoop集群中的各个队列占用的资源量，根据各个队列占用的资源量，计算各个队列的资源使用率；

S2、根据各个队列的资源使用率，选择资源使用率最低的队列作为当前队列；

S3、获取当前队列中的各个作业的优先级、提交时间、未完成任务数和总任务数，根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值；

其中，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值包括：

计算当前队列中的各个作业的优先级与当前队列中的所有作业的优先级之和的比值，将该比值作为各个作业的优先级因子；计算当前时间与当前队列中的各个作业的提交时间的差值，将该差值与当前时间的比值作为各个作业的时间因子；计算当前队列中的各个作业的未完成任务数和总任务数的比值，将该比值作为各个作业的任务量因子，并根据各个作业的优先级因子、时间因子和任务量因子，计算各个作业的评价值；

S4、根据当前队列中的各个作业的评价值，从当前队列中选择当前作业；

S5、从当前作业中选择任务，并向选择的任务分配资源。

2.如权利要求1所述的方法，其特征在于，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值，具体为：

使用以下公式计算各个作业的评价值：

其中，Worth[i]为作业i的评价值，p[i]为作业i的优先级的分值，为当前队列中的所有作业的优先级的分值之和，nowtime为当前时间，submittime为作业i的提交时间，untasks为作业i的未完成任务数，totaltasks为作业i的总任务数。

3.如权利要求1所述的方法，其特征在于，所述步骤S4之后，还包括：

判断当前作业所在的用户占用的资源是否达到资源使用上限；

所述步骤S5，具体为：

如果当前作业所在的用户占用的资源未达到资源使用上限，从当前作业中选择任务，并向选择的任务分配资源。

4.如权利要求1所述的方法，其特征在于，所述步骤S4之后，还包括：

所述步骤S4之后，还包括：

判断TaskTracker节点的剩余资源是否足以运行当前作业中的一个任务；

所述步骤S5，具体为：

如果所述TaskTracker节点的剩余资源足以运行当前作业中的一个任务，从当前作业中选择任务，并向选择的任务分配资源。

5.一种Hadoop集群中的作业调度器，其特征在于，包括：

第一获取模块，用于获取所述Hadoop集群中的各个队列占用的资源量；

第一计算模块，用于根据所述第一获取模块获取到的各个队列占用的资源量，计算各个队列的资源使用率；

第一选择模块，用于根据所述第一计算模块计算得到的各个队列的资源使用率，选择资源使用率最低的队列作为当前队列；

第二获取模块，用于获取所述第一选择模块选择的当前队列中的各个作业的优先级、提交时间、未完成任务数和总任务数；

第二计算模块，用于根据所述第二获取模块获取到的各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值；

其中，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值包括：计算当前队列中的各个作业的优先级与当前队列中的所有作业的优先级之和的比值，将该比值作为各个作业的优先级因子；计算当前时间与当前队列中的各个作业的提交时间的差值，将该差值与当前时间的比值作为各个作业的时间因子；计算当前队列中的各个作业的未完成任务数和总任务数的比值，将该比值作为各个作业的任务量因子，并根据各个作业的优先级因子、时间因子和任务量因子，计算各个作业的评价值；

第二选择模块，用于根据所述第二计算模块计算得到的当前队列中的各个作业的评价值，从当前队列中选择当前作业；

分配模块，用于从所述第二选择模块选择的当前作业中选择任务，并向选择的任务分配资源。