[发明专利]作业调度的方法及装置

说明书

本发明公开了一种作业调度的方法及装置，涉及互联网技术领域，为解决现有Hadoop集群中的非本地化计算存在数据迁移，数据迁移会造成时间的浪费，从而导致计算效率降低的问题而发明。本发明的方法包括：根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点；为所述目标Task Tracker节点查找目标作业；将所述目标作业调度至目标Task Tracker节点进行计算。本发明适合应用在Hadoop集群作业调度的过程中。

技术领域

本发明涉及互联网技术领域，尤其涉及一种作业调度的方法及装置。

背景技术

在Hadoop集群中，调度器是一个非常重要的组件，它的作用是保证整个集群内有效地进行作业的调度与执行。在Hadoop集群中通常有多个队列，每个队列中又包含有用户提交的多个作业，每个作业代表一个应用，每个作业中可以包含多个任务。当调度器进行作业调度时，通常的调度方式为：按照预设规则选择一个队列，然后根据预设的条件对队列中的作业设置优先级，再按照优先级的次序调度作业，并为作业选择与之匹配的计算节点。通常匹配的计算节点是按照本地主机资源、同机架主机资源、其他机架主机资源的顺序进行选择的。

然而上述常用的调度器的调度方式，会造成非本地化计算的增加。例如，当某一作业A被调度时，有可能对应的本地主机资源已经占满，无空闲计算节点，因此只能在同机架的其他主机或者不同机架的其他主机上选择空闲的计算节点进行计算。当作业量很大时，有可能将其他非本地主机的资源占满，这样就会造成本地主机计算的是非本地的作业，而本地作业无法在本地主机计算。然而非本地化计算由于存在数据迁移，数据迁移会造成时间的浪费，从而非本地化计算的增加必然会降低计算的效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种作业调度的方法及装置。

为解决上述技术问题，一方面，本发明提供了一种作业调度的方法，该方法包括：

根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；

从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点；

为所述目标Task Tracker节点查找目标作业；

将所述目标作业调度至目标Task Tracker节点进行计算。

另一方面，本发明还提供了一种作业调度的装置，该装置包括：

第一选择单元，用于根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；

第二选择单元，用于从空闲的Task Tracker节点中选择符合预设条件的目标TaskTracker节点；

查找单元，用于为所述目标Task Tracker节点查找目标作业；

计算单元，用于将所述目标作业调度至目标Task Tracker节点进行计算。