[发明专利]在分布式计算系统中执行容错数据处理的方法及容错分布式计算系统

说明书

一种数据处理任务可通过使用工作流程而在分布式计算系统中实施，所述工作流程分裂为流簇，所述流簇布置于数据源和数据宿之间的有向非循环图中。此布置可包括在其它特征中的各种流程控制方案和/或容错方案。容错可使用键/值存储KVS流簇来实施。

相关申请的交叉引用

本申请主张2015年4月17日申请的第14/689,197号美国专利申请的优先权，且所述专利申请以引用的方式并入本文中。

此外，以下进一步的美国专利申请的内容也以引用的方式并入本文中：2011年4月13日申请的第13/086,132号美国专利申请；2012年7月13日申请的第13/548,805号美国专利申请；2011年8月25日申请的第13/218,082号美国专利申请；2011年12月16日申请的第13/328,570号美国专利申请；以及2013年10月15日申请的第14/054,112号美国专利申请，其为主张2012年10月15日申请的第61/713,957号和2013年1月2日申请的第61/748,233号美国临时专利申请的优先权的非临时申请，所有所述美国专利申请的内容也以引用的方式并入本文中。

技术领域

本发明的各个方面可涉及高性能计算系统。

背景技术

需要分析的数据集的大小多年来已极大地增加，且计算系统和策略已经经设计以达到尝试和赶上数据集大小的增加速度。然而，目前系统在性能方面一直落后于数据集大小增加的步调。

例如第2008/0086442号美国专利申请公开案和/或Dean等人的“MapReduce：针对大群集的简化数据处理(MapReduce：Simplified Data Processing on Large Clusters)”(OSDI 2004)中所论述的MapReduce技术提供一种进行大数据集处理的方式。然而，此类现有技术可以变得较快且更有效。

此外，当以MapReduce编程模型实施时，特定应用/算法可具有工作流程内的同步点(屏障)，其中一个级直至另一级完全完成处理时才能开始。这还可能导致低效率。

发明内容

本发明的各个方面可涉及用以解决现有大数据分析技术的上文提及的局限性和/或大体提供高性能计算环境的技术。涉及称为“流簇(flowlet)”(下文将更详细地论述)的内容的使用的本文中所描述的技术可使用硬件、软件、固件和/或其组合来实施。流簇的类型可包括键值存储(KeyValueStore)流簇和/或其它类型的流簇。键值存储(KVS)流簇可用于容错技术中。

附图说明

现将结合附图描述本发明的各个方面，附图中：

图1展示工作流程的非限制性实例；

图2展示流量控制序列的非限制性实例；

图3展示流簇的多个示例以及流簇之间的交互的实例；

图4展示使用根据本发明的各种技术实施的约简操作的实例；

图5A-5D展示工作聚合序列的实例；

图6展示内存分配的各种实例；

图7A-7F展示流程控制的进一步实例；

图8展示节点内负载均衡的实例；

图9A-9C展示节点内负载均衡的进一步实例；

图10A-10H展示计算节点处的处理情境的实例；

图11A和11B展示实施优先的任务的系统的实例；

图12展示共享键/值存储的实例；

图13A和13B展示键/值数据存储的实例；