[发明专利]一种作业任务的调度方法和装置

说明书

技术领域

本申请涉及计算机技术领域，特别是涉及一种作业任务的调度方法和装置。

背景技术

计算机集群是一种计算机系统，其通过多台计算机（又称为计算资源，诸如软件和/或硬件资源）连接起来协作完成计算作业。这些计算资源位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务。Hadoop就是这样一个分布式系统的集群架构，可以实现高效率的并行计算和海量存储。

计算机集群通过多台计算机完成同一作业，能够达到更高的效率。例如，在使用MapReduce（映射化简）模型进行大规模数据的并行计算时，对于一个MapReduce作业（即用户的一个计算请求）需要拆分成多个Map任务和Reduce任务分配到多个计算节点上执行；计算节点在集群系统中可以表示单台计算机。

将计算机集群上的Map或Reduce任务等作业任务分配到多个计算节点上的过程可以称为作业任务的调度。

目前Hadoop内置的调度器负责进行作业任务的调度。现有的调度器通常按照CPU计算核心的多少进行作业业务的调度，每个计算节点可以根据自己实际的CPU计算核心的个数配置作业任务个数，一次配好后，启动集群以后便不可修改。在进行调度的过程中，一旦某个计算节点上出现空闲的CPU计算核心，调度器便会分配一个作业任务给该节点。如果当前所有计算节点的所有计算核心都被作业任务占用了，则剩下的作业任务需要排队等待计算节点的分配。

现有技术中调度器依据计算节点的CPU计算核心进行作业任务的调度，这样，在某些情况下，虽然计算节点上出现空闲的CPU计算核心，但是，当其上有大量的数据进行计算时，还是不可避免地出现内存溢出、网络阻塞或者直接宕机的现象。而在计算节点出现上述现象中任一的情况下，相应计算节点上的作业任务就会处理失败，而处理失败的作业任务需要调度器重新分配给其它计算节点进行处理，因此，此时计算机集群在单位时间内处理的数据量会受到影响，也即容易导致计算机集群的吞吐率降低。

总之，需要本领域技术人员迫切解决的一个技术问题就是：如何能够提高计算机集群的吞吐率。

发明内容

本申请所要解决的技术问题是提供一种作业任务的调度方法和装置，能够提高计算机集群的吞吐率。

为了解决上述问题，本申请公开了一种作业任务的调度方法，包括：

收集各计算节点的硬件资源信息；

将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。

优选的，所述硬件资源信息包括如下分项硬件资源信息中的一分项或多分项：平均负载信息、CPU使用信息、内存使用信息、磁盘信息和网络带宽信息；所述磁盘信息进一步包括磁盘输入输入信息、每块磁盘使用信息和每个磁盘分区的使用信息中的一项或多项。

优选的，所述硬件资源信息小于预设阈值包括：各分项硬件资源信息分别小于对应的预设分项阈值；和/或，多分项硬件资源信息的平均值小于预设平均阈值。

优选的，所述收集各计算节点的硬件资源信息的步骤，进一步包括：

收集作业任务的硬件资源信息，所述作业任务的硬件资源信息用于描述作业任务，执行作业业务的计算节点及相应的硬件资源信息的对应关系；

对同一计算节点的作业任务的硬件资源信息进行聚集，得到计算节点的硬件资源信息。

优选的，所述待分配作业任务为待分配映射Map任务；

则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括：

依据所述待分配Map任务对应输入文件和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且存储有所述输入文件或者与所述输入文件的存储节点位于同一机架的计算节点；

将所述待分配Map任务分配至选取的该计算节点。

优选的，所述待分配作业任务为待分配化简Reduce任务；

则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括：

依据待分配Reduce任务对应Map任务和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且与对应Map任务的计算节点位于同一机架的计算节点；

将所述待分配Map任务分配至选取的该计算节点。

另一方面，本申请还公开了一种作业任务的调度装置，包括：

收集模块，用于收集各计算节点的硬件资源信息；及