[发明专利]用于并行计算的方法和装置

摘要

本发明涉及用于并行计算的方法和装置。根据本发明的实施例，提供一种作业并行处理方法，对所述作业的处理至少包括在第一阶段中执行上游任务以及在随后的第二阶段中执行下游任务。该方法包括定量地确定所述上游任务与所述下游任务之间的数据依赖关系；以及至少部分地基于所述数据依赖关系来选择所述下游任务的启动时间。还公开了相应的装置。根据本发明的实施例，能够更为准确地、定量地确定不同阶段任务之间的数据依赖关系，从而选择适当的下游任务启动时间。

主权项

一种作业并行处理方法，包括：通过至少在第一阶段中执行上游任务以及在随后的第二阶段中执行下游任务来处理所述作业；定量地确定所述上游任务与所述下游任务之间的数据依赖关系；以及至少部分地基于所述数据依赖关系来选择所述下游任务的启动时间，其中在确定所述上游任务和所述下游任务之间的所述数据依赖关系已经消除的情况下，使得所述下游任务被启动；其中确定所述数据依赖关系包括：获取所述上游任务的执行状态，其中获取所述上游任务的执行状态包括估计所述上游任务的剩余执行时间；以及获取所述上游任务产生的中间数据向下游任务的传输信息，其中获取所述传输信息包括估计所述中间数据向所述下游任务的传输时间；其中选择所述下游任务的所述启动时间包括：响应于所述上游任务的所述剩余执行时间小于或等于所述中间数据的所述传输时间而启动所述下游任务。