[发明专利]一种作业任务的调度方法和装置

权利要求书

1.一种作业任务的调度方法，其特征在于，包括：

收集各计算节点的硬件资源信息；

将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。

2.如权利要求1所述的方法，其特征在于，所述硬件资源信息包括如下分项硬件资源信息中的一分项或多分项：平均负载信息、CPU使用信息、内存使用信息、磁盘信息和网络带宽信息；所述磁盘信息进一步包括磁盘输入输入信息、每块磁盘使用信息和每个磁盘分区的使用信息中的一项或多项。

3.如权利要求2所述的方法，其特征在于，所述硬件资源信息小于预设阈值包括：各分项硬件资源信息分别小于对应的预设分项阈值；和/或，多分项硬件资源信息的平均值小于预设平均阈值。

4.如权利要求1所述的方法，其特征在于，所述收集各计算节点的硬件资源信息的步骤，进一步包括：

收集作业任务的硬件资源信息，所述作业任务的硬件资源信息用于描述作业任务，执行作业业务的计算节点及相应的硬件资源信息的对应关系；

对同一计算节点的作业任务的硬件资源信息进行聚集，得到计算节点的硬件资源信息。

5.如权利要求1述的方法，其特征在于，所述待分配作业任务为待分配映射Map任务；

则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括：

依据所述待分配Map任务对应输入文件和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且存储有所述输入文件或者与所述输入文件的存储节点位于同一机架的计算节点；

将所述待分配Map任务分配至选取的该计算节点。

6.如权利要求1所述的方法，其特征在于，所述待分配作业任务为待分配化简Reduce任务；

则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括：

依据待分配Reduce任务对应Map任务和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且与对应Map任务的计算节点位于同一机架的计算节点；

将所述待分配Map任务分配至选取的该计算节点。

7.一种作业任务的调度装置，其特征在于，包括：

收集模块，用于收集各计算节点的硬件资源信息；及

调度模块，用于将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。

8.如权利要求7所述的装置，其特征在于，所述硬件资源信息包括如下分项硬件资源信息中的一分项或多分项：平均负载信息、CPU使用信息、内存使用信息、磁盘信息和网络带宽信息；所述磁盘信息进一步包括磁盘输入输入信息、每块磁盘使用信息和每个磁盘分区的使用信息中的一项或多项。

9.如权利要求8所述的装置，其特征在于，所述硬件资源信息小于预设阈值包括：各分项硬件资源信息分别小于对应的预设分项阈值；和/或，多分项硬件资源信息的平均值小于预设平均阈值。

10.如权利要求7所述的装置，其特征在于，所述收集模块进一步包括：

任务收集子模块，用于收集作业任务的硬件资源信息，所述作业任务的硬件资源信息用于描述作业任务，执行作业业务的计算节点及相应的硬件资源信息的对应关系；

聚集子模块，用于对同一计算节点的作业任务的硬件资源信息进行聚集，得到计算节点的硬件资源信息。

11.如权利要求7所述的装置，其特征在于，所述待分配作业任务为待分配映射Map任务；

则所述收集模块进一步包括：

第一选取子模块，用于依据所述待分配Map任务对应输入文件和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且存储有所述输入文件或者与所述输入文件的存储节点位于同一机架的计算节点；

第一分配子模块，用于将所述待分配Map任务分配至选取的该计算节点。

12.如权利要求7所述的装置，其特征在于，所述待分配作业任务为待分配化简Reduce任务；

则所述收集模块进一步包括：

第二选取子模块，用于依据待分配Reduce任务对应Map任务和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且与对应Map任务的计算节点位于同一机架的计算节点；

第二分配子模块，用于将所述待分配Map任务分配至选取的该计算节点。