[发明专利]任务调度方法和调度器

说明书

本发明实施例公开了一种任务调度方法和调度器，用于提高任务的调度效率，以及降低对内存资源的使用量。本发明实施例方法包括：获取待执行任务，所述待执行任务包括多个有有向无环关系的任务，所述待执行任务包括输入数据；对所述待执行任务进行任务的分解，得到至少两个任务集，所述任务集包括一个或多个有有向无环关系的任务；根据不同调度顺序将不同的任务集的输入数据读入内存，以执行所述待执行任务。这样，在低内存资源的环境下也能满足计算的要求。而将待执行任务分解成任务集，调度时，只要分批次将这些任务集的输入数据写入内存即可完成任务的执行，无需反复对数据进行磁盘的IO，这样即可提高任务的调度效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种任务调度方法和调度器。

背景技术

分布式计算框架主要的性能瓶颈在于磁盘IO、CPU(中文名称：中央处理器)计算和主要是shuffle引起的network(中文名称：网络)延时，在以往，磁盘IO是耗时最多的环节。

为此，spark和tez技术着重优化磁盘的IO问题，其中Tez是Apache最新开源的支持DAG作业的计算框架，它直接源于MapReduce框架。spark和tez技术的总体思想是减少中间数据的HDFS(Hadoop分布式文件系统)读写操作，以提高计算性能。例如，如图1所示，在任务调度时，将多个有依赖的作业转换为一个大作业，将该大作业的所有数据一同读入内存中迭代计算。通过减少HDFS的写入，提升DAG作业的计算效率。

但是，在优化磁盘的IO问题后，内存不足的问题凸显，把所有待处理的数据读入内存，在内存中处理，无法满足数据量较大作业的执行。此时，CPU的内存计算成为新的性能瓶颈。

发明内容

本发明实施例提供了一种任务调度方法和调度器，用于提高任务的调度效率，以及降低内存计算性能的要求。

为了解决上述技术问题，本发明实施例提供了以下技术方案：

一种任务调度方法，所述方法包括：

获取待执行任务，所述待执行任务包括多个有有向无环关系的任务，所述待执行任务包括输入数据；

对所述待执行任务进行任务的分解，得到至少两个任务集，所述任务集包括一个或多个有有向无环关系的任务；

根据不同调度顺序将不同的任务集的输入数据读入内存，以执行所述待执行任务。

为了解决上述技术问题，本发明实施例还提供了以下技术方案：

一种调度器，包括：

获取单元，用于获取待执行任务，所述待执行任务包括多个有有向无环关系的任务，所述待执行任务包括输入数据；

分解单元，用于对所述待执行任务进行任务的分解，得到至少两个任务集，所述任务集包括一个或多个有有向无环关系的任务；

调度单元，用于根据不同调度顺序将不同的任务集的输入数据读入内存，以执行所述待执行任务。

从以上技术方案可以看出，本发明实施例具有以下优点：