[发明专利]一种Hadoop集群中的作业调度方法和作业调度器

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种Hadoop集群中的作业调度方法和作业调度器。

背景技术

Hadoop集群是一种具有高可靠性和良好的扩展性的分布式系统，在数据处理领域得到了广泛的应用。在Hadoop集群得到应用的初期阶段，使用FIFO(First In First Out，先入先出)调度机制分配任务，将所有作业统一提交到一个队列中，并按照提交的先后顺序依次运行队列中的作业。但随着Hadoop用户及应用程序种类的不断增加，FIFO调度机制无法有效地利用集群中的资源，也不能满足不同应用程序的服务质量要求。

现有技术中，通常使用公平调度机制和计算能力调度机制分配任务，按照应用需求对用户或应用程序分组，对不同的分组分配不同的资源量，同时通过添加各种约束条件防止单个用户或者应用程序独占资源。

然而，公平调度机制会导致负载不均衡，影响系统的响应时间，同时，配置文件的配置影响整个系统的性能。而在计算能力调度机制中，无法自动进行队列设置和队列分组，并且存在局部最优现象，从而影响系统的整体性能。

发明内容

本发明提供了一种Hadoop集群中的作业调度方法和作业调度器，用以解决现有作业调度机制中的负载不均衡和系统的整体性能受到影响的缺陷。

本发明提供了一种Hadoop集群中的作业调度方法，包括以下步骤：

S1、获取所述Hadoop集群中的各个队列占用的资源量，根据各个队列占用的资源量，计算各个队列的资源使用率；

S2、根据各个队列的资源使用率，选择资源使用率最低的队列作为当前队列；

S3、获取当前队列中的各个作业的优先级、提交时间、未完成任务数和总任务数，根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值；

S4、根据当前队列中的各个作业的评价值，从当前队列中选择当前作业；

S5、从当前作业中选择任务，并向选择的任务分配资源。

可选地，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值，具体为：

计算当前队列中的各个作业的优先级与当前队列中的所有作业的优先级之和的比值，将该比值作为各个作业的优先级因子；计算当前时间与当前队列中的各个作业的提交时间的差值，将该差值与当前时间的比值作为各个作业的时间因子；计算当前队列中的各个作业的未完成任务数和总任务数的比值，将该比值作为各个作业的任务量因子，并根据各个作业的优先级因子、时间因子和任务量因子，计算各个作业的评价值。

可选地，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评价值，具体为：

使用以下公式计算各个作业的评价值：

其中，Worth[i]为作业i的评价值，p[i]为作业i的优先级的分值，为当前队列中的所有作业的优先级的分值之和，nowtime为当前时间，submittime为作业i的提交时间，untasks为作业i的未完成任务数，totaltasks为作业i的总任务数。

可选地，所述步骤S4之后，还包括：

判断当前作业所在的用户占用的资源是否达到资源使用上限；

所述步骤S5，具体为：

如果当前作业所在的用户占用的资源未达到资源使用上限，从当前作业中选择任务，并向选择的任务分配资源。

可选地，所述步骤S4之后，还包括：

所述步骤S4之后，还包括：

判断TaskTracker节点的剩余资源是否足以运行当前作业中的一个任务；

所述步骤S5，具体为：

如果所述TaskTracker节点的剩余资源足以运行当前作业中的一个任务，从当前作业中选择任务，并向选择的任务分配资源。

本发明还提供了一种Hadoop集群中的作业调度器，包括：

第一获取模块，用于获取所述Hadoop集群中的各个队列占用的资源量；

第一计算模块，用于根据所述第一获取模块获取到的各个队列占用的资源量，计算各个队列的资源使用率；

第一选择模块，用于根据所述第一计算模块计算得到的各个队列的资源使用率，选择资源使用率最低的队列作为当前队列；

第二获取模块，用于获取所述第一选择模块选择的当前队列中的各个作业的优先级、提交时间、未完成任务数和总任务数；