[发明专利]用于并行计算的方法和装置

权利要求书

1.一种作业并行处理方法，包括：

通过至少在第一阶段中执行上游任务以及在随后的第二阶段中执行下游任务来处理所述作业；

定量地确定所述上游任务与所述下游任务之间的数据依赖关系；以及

至少部分地基于所述数据依赖关系来选择所述下游任务的启动时间，其中在确定所述上游任务和所述下游任务之间的所述数据依赖关系已经消除的情况下，使得所述下游任务被启动；

其中确定所述数据依赖关系包括：

获取所述上游任务的执行状态，其中获取所述上游任务的执行状态包括估计所述上游任务的剩余执行时间；以及

获取所述上游任务产生的中间数据向下游任务的传输信息，其中获取所述传输信息包括估计所述中间数据向所述下游任务的传输时间；

其中选择所述下游任务的所述启动时间包括：

响应于所述上游任务的所述剩余执行时间小于或等于所述中间数据的所述传输时间而启动所述下游任务。

2.根据权利要求1所述的方法，其中确定所述数据依赖关系还包括：

至少部分地基于所述执行状态和所述传输信息来确定所述数据依赖关系。

3.根据权利要求1所述的方法，其中所述上游任务的所述剩余执行时间至少部分地基于所述上游任务阶段的资源竞争情况而被估计。

4.根据权利要求1所述的方法，其中确定所述数据依赖关系包括：

利用所述上游任务的所述剩余执行时间与所述中间数据的所述传输时间的比较来表征所述数据依赖关系。

5.根据权利要求1所述的方法，还包括：

估计所述下游任务的资源竞争情况，

其中所述下游任务的所述启动时间基于所述数据依赖关系和所述下游任务的所述资源竞争情况而被选择。

6.根据权利要求1-5任一项所述的方法，其中所述作业基于映射化简MapReduce模型而被处理，并且其中所述上游任务包括映射任务并且所述下游任务包括化简任务。

7.一种作业并行处理装置，包括：

处理单元，被配置为通过至少在第一阶段中执行上游任务以及在随后的第二阶段中执行下游任务来处理所述作业；

确定单元，被配置为定量地确定所述上游任务与所述下游任务之间的数据依赖关系；以及

选择单元，被配置为至少部分地基于所述数据依赖关系来选择所述下游任务的启动时间，其中在确定所述上游任务和所述下游任务之间的所述数据依赖关系已经消除的情况下，使得所述下游任务被启动；

其中所述确定单元包括：

第一获取单元，被配置为获取所述上游任务的执行状态，其中所述第一获取单元包括被配置为估计所述上游任务的剩余执行时间的单元；以及

第二获取单元，被配置为获取所述上游任务产生的中间数据向下游任务的传输信息，其中所述第二获取单元包括被配置为估计所述中间数据向所述下游任务的传输时间的单元；

其中所述选择单元包括：

被配置为响应于所述上游任务的所述剩余执行时间小于或等于所述中间数据的所述传输时间而启动所述下游任务的单元。

8.根据权利要求7所述的装置，其中所述确定单元进一步被配置为至少部分地基于所述执行状态和所述传输信息来确定所述数据依赖关系。

9.根据权利要求7所述的装置，其中所述上游任务的所述剩余执行时间至少部分地基于所述上游任务阶段的资源竞争情况而被估计。

10.根据权利要求7所述的装置，其中所述确定单元包括：

被配置为利用所述上游任务的所述剩余执行时间与所述中间数据的所述传输时间的比较来表征所述数据依赖关系的单元。

11.根据权利要求7所述的装置，还包括：

估计单元，被配置为估计所述下游任务的资源竞争情况，

其中所述下游任务的所述启动时间基于所述数据依赖关系和所述下游任务的所述资源竞争情况而被选择。

12.根据权利要求7-11任一项所述的装置，其中所述作业基于映射化简MapReduce模型被处理，并且其中所述上游任务包括映射任务并且所述下游任务包括化简任务。