[发明专利]用于并行计算的方法和装置

说明书

技术领域

本发明的实施例涉及用于并行计算的方法和装置。

背景技术

并行计算已经得到了日益广泛的应用。根据这种计算模式，一个作业(job)可以被分为多个任务阶段。每个阶段的任务可被分发到多个不同的节点以便并行地被执行。而后，上一阶段产生的数据(称为“中间数据”)被传输给下一阶段的任务，以便进行后续处理。同一阶段中可以存在多个能够并发执行的任务，而不同阶段的任务之间存在数据依赖关系。在并行或分布式计算中，一个需要着重考虑的问题是不同任务阶段之间的数据依赖性。

以目前常被用于并行作业处理的MapReduce(映射化简)模型为例，它将一个作业划分为两个阶段：映射(map)阶段和化简(reduce)阶段。如本领域中已知的，在映射阶段和化简阶段中，各自可以存在多个可并发执行的任务；而在映射阶段与化简阶段之间则存在着数据依赖性。映射任务将生成中间数据，这些中间数据借助于磁盘被存储并通过网络传输给化简任务以作为其输入。化简任务需要完整地取回来自每个映射任务的相应中间数据，而后才能够开始执行后续数据处理。因此，映射任务和简化任务无需同时启动。在现有技术中，常见的做法是当执行完成的映射任务的数目达到预定阈值(例如，5％)时启动化简任务。

在现有技术方案中，化简任务的启动时机是基于静态规则而确定的。然而，这种静态规则并不一定能够确保特定的作业具有较高的执行效率。例如，基于这种静态方案，某些化简任务可能过早地被启动并且因此处于空闲状态。这将导致分配给这些化简任务的资源被浪费。同时，其他并发的化简任务可能由于潜在的资源饥饿而受到不利影响。反之，现有技术中的静态规则也有可能导致某些化简任务被过晚地启动。这将增加作业的总体执行时间，从而导致响应延迟。

应当理解，由不同阶段的任务之间的数据依赖关系引起的问题广泛存在于各种并行或者分布式计算中，不仅限于上文作为示例而被描述的MapReduce模型。一般地，在作业的并行化处理中，下游阶段任务的过早启动将导致资源浪费，而下游任务的过晚启动将导致整个任务执行效率下降，二者都将对作业的整体执行效率产生不利的影响。

发明内容

鉴于上述以及其他潜在问题，本领域中需要一种更为有效地管理并行计算的解决方案。

在本发明的一个方面，提供一种作业并行处理方法，对所述作业的处理至少包括在第一阶段中执行上游任务以及在随后的第二阶段中执行下游任务。所述方法包括：定量地确定所述上游任务与所述下游任务之间的数据依赖关系；以及至少部分地基于所述数据依赖关系来选择所述下游任务的启动时间。

在本发明的另一方面，提供一种作业并行处理装置，对所述作业的处理至少包括在第一阶段中执行上游任务以及在随后的第二阶段中执行下游任务。所述装置包括：确定单元，被配置为定量地确定所述上游任务与所述下游任务之间的数据依赖关系；以及选择单元，被配置为至少部分地基于所述数据依赖关系来选择所述下游任务的启动时间。

通过下文描述将会理解，根据本发明的实施例，允许通过定量的方式对并行化处理的作业的不同阶段的任务之间存在的数据依赖关系进行表征或建模。由此，可以更为精确地选择下游任务的启动时机。以此方式，可以避免由于下游任务过早启动而导致的资源闲置和浪费，同时避免由于下游任务过晚启动而导致的作业总体执行效率下降和响应时间过长。

附图说明

通过参考附图阅读下文的详细描述，本发明实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施例，其中：

图1示出了根据本发明一个示例性实施例的作业并行处理方法的流程图；

图2示出了根据本发明另一示例性实施例的作业并行处理方法的流程图；

图3示出了根据本发明一个示例性实施例的作业并行处理装置的框图；以及

图4示出了可与本发明的示例性实施例结合使用的计算机系统的框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考附图中示出的若干示例性实施例来描述本发明的原理和精神。给出这些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。