[发明专利]在分布式计算系统中执行容错数据处理的方法及容错分布式计算系统

权利要求书

1.一种在分布式计算系统中执行容错数据处理的方法，所述方法包括：

使与工作流程相关联的多个流簇实例化，所述工作流程在所述分布式计算系统的多个计算节点上实施用于实现至少一个数据处理任务的程序，其中所述多个流簇包括一或多个键/值存储KVS流簇；以及

在一个或多个数据源和数据宿之间互连所述流簇从而形成所述一个或多个数据源和数据宿之间的至少一个有向非循环图，其中所述至少一个有向非循环图包括所述一个或多个KVS流簇中的至少一者，其中所述KVS流簇中的一者或多者是同步KVS流簇，用于实施朝向相应KVS流簇推动键/值对的操作和实施从所述相应KVS流簇牵引键/值对的操作之间的屏障。

2.根据权利要求1所述的方法，还包括在所述KVS流簇中的一者或多者处执行检查点。

3.根据权利要求2所述的方法，其中至少一个KVS流簇在准许自由检查点的点处互连，其中所述自由检查点指代在所述KVS流簇之前的上游处理完成的案例，所述KVS下游的处理都不产生任何输出键/值对，且所述KVS流簇不向上游发送任何数据。

4.根据权利要求1所述的方法，其中借助于指示由位于所述KVS流簇上游的流簇执行的处理完成的信令而使所述同步KVS流簇同步。

5.根据权利要求1所述的方法，还包括存储至少一个流簇的状态以提供检查点。

6.根据权利要求1所述的方法，还包括下载用于实施所述实例化和所述实施的可执行指令。

7.根据权利要求1所述的方法，还包括提供用于下载的实施所述实例化和所述实施的可执行指令。

8.一种容错分布式计算系统，其包括：

多个计算节点，其中一个计算节点包括至少一个处理器和存储器；

其中与工作流程相关联的多个流簇在所述计算节点的至少一子集上实例化，所述工作流程实施用于实现至少一个数据处理任务的程序，且其中所述多个流簇包括一个或多个键/值存储KVS流簇；以及

其中所述多个流簇经互连以形成一个或多个数据源和一或多个数据宿之间的一个或多个有向非循环图，其中所述有向非循环图中的至少一者包括所述一或多个KVS流簇中的至少一者，其中所述KVS流簇中的所述一者或多者是同步KVS流簇，用于实施朝向相应KVS流簇推动键/值对的操作和实施从所述相应KVS流簇牵引键/值对的操作之间的屏障。

9.根据权利要求8所述的系统，其中所述KVS流簇中的至少一者用于执行检查点。

10.根据权利要求9所述的系统，其中至少一个KVS流簇在准许自由检查点的点处互连，其中所述自由检查点指代所述KVS流簇之前的上游处理完成的案例，所述KVS下游的处理都不产生任何输出键/值对，且所述KVS流簇不向上游发送任何数据。

11.根据权利要求8所述的系统，其中借助于指示由位于所述KVS流簇上游的流簇执行的处理完成的信令而使所述同步KVS流簇同步。

12.根据权利要求8所述的系统，还包括与所述KVS流簇中用于执行检查点的所述至少一者相关联的至少一个存储组件。

13.一种计算机可读介质，其包括用于使一个或多个处理器实施根据权利要求1所述的方法的可执行指令。