[发明专利]用于作业执行中的调度的方法和装置

说明书

技术领域

本发明的实施例总体上涉及计算机领域，更具体地，涉及用于作业执行中的调度的方法和装置。

背景技术

并行计算已经得到了日益广泛的应用。通常，一个作业(job)可以被分为多个任务阶段。每个阶段的任务可被分发到多个不同的节点以便并行地被执行。而后，上一阶段产生的数据(称为“中间数据”)被传输给下一阶段的任务以进行后续处理。同一阶段中可以存在多个能够并发执行的任务。例如，MapReduce(映射化简)模式被广泛地应用于并发计算，其中一个作业被划分为映射(map)阶段和化简(reduce)阶段。在映射阶段和化简阶段中，各自可以存在多个可并发执行的任务。映射任务所产生的中间结果被馈送给下游的化简任务。

在映射与化简之间传输数据的阶段可以称为调度阶段或称Shuffle。调度阶段对于作业执行的总体性能至关重要。在某些应用场景下，调度阶段的执行时间可以占到化简任务总时间的90％以上。在传统的MapReduce模式中，映射任务和化简任务分别使用不同的作业槽(slot)。为了改善调度，已经提出了映射任务和化简任务共享多个作业槽的架构。以此方式，能够改善节点的中央处理单元(CPU)、网络、磁盘等资源的使用率，并且可以降低调度所花费的时间。

然而，在这样的MapReduce实现中，调度阶段往往存在不平衡性。当映射阶段的数据产生速度小于化简阶段的数据消耗速度时，很多负责化简的化简器(reducer)可能处于空闲和等待状态。反之，当映射阶段的速度大于化简阶段的速度时，映射器(mapper)所产生的中间结果无法被及时取走。为了解决这种不平衡性，已经提出了使用参数来控制何时启动化简任务的方案。另外，利用映射任务和化简任务之间的比率来控制调度的方案也是已知的。但是，参数的设计需要人类专家来手工设定。而且，对于不同的应用和不同的阶段而言，最优参数可能是不同的。因此，已知的参数化控制仍然无法完全克服映射任务和化简任务之间的不平衡性。

特别地，应当理解的是：不同阶段的任务之间的调度问题广泛存在于各种并行或者分布式计算中，不仅限于上文作为示例描述的MapReduce模式。一般地，在作业的并行化处理中，处于上游阶段的任务(简称“上游任务”)与处于下游阶段的任务(简称“下游任务”)之间的处理速度的失配将导致调度阶段的不平衡，从而对整体执行效率产生不利的影响。例如，在遵循MPI(Message Passing Interface)等架构的并行作业处理中，同样需要应对上游任务与下游任务之间的潜在失衡。

发明内容

为了解决上述以及其他潜在问题，本发明提出了一种用于开发、测试和部署应用的方法和装置。

在本发明的第一方面，提供一种在执行作业中调度由一个或多个前处理机和一个或多个后处理机共享的多个作业槽的方法，所述前处理机产生的数据将被馈送给所述后处理机以便处理。所述方法包括：确定所述前处理机的总体数据产生速度；确定所述后处理机的总体数据消耗速度；以及基于所述总体数据产生速度和所述总体数据消耗速度，调度至少一个所述作业槽在所述前处理机和所述后处理机之间的分配。

在本发明的第二方面，提供一种在执行作业中调度由一个或多个前处理机和一个或多个后处理机共享的多个作业槽的装置，所述前处理机产生的数据将被馈送给所述后处理机以便处理。所述装置包括：产生速度确定单元，被配置为确定所述前处理机的总体数据产生速度；消耗速度确定单元，被配置为确定所述后处理机的总体数据消耗速度；以及调度单元，被配置为基于所述总体数据产生速度和所述总体数据消耗速度，调度至少一个所述作业槽在所述前处理机和所述后处理机之间的分配。

通过下文描述将会理解，根据本发明的实施例，可以在无需人类用户干预的情况下，根据作业执行的具体情况而动态地调度上游任务和下游任务的执行。以此方式，能够显著改善系统的资源利用率，提高作业执行的总体效率。而且，本发明的实施例可以适用于各种不同的应用和不同的应用阶段。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显其中：

图1示出了适于用来实现本发明实施例的示例性计算机系统／服务器的示意性框图；

图2示出了根据本发明实施例的用于在执行作业中调度由一个或多个前处理机和一个或多个后处理机共享的多个作业槽的方法的示意性流程图；

图3示出了根据本发明实施例的用于调度作业槽的方法的示意性流程图；