[发明专利]数据的增量并行处理

摘要

一个示例方法包括：识别包括指定要对数据集执行的计算操作的指令的同步代码；将所述同步代码变换成包括一个或多个流水线对象的流水线应用；识别要对其执行所述流水线应用的第一输入数据集；对第一输入数据集执行所述流水线应用以产生第一输出数据集；在对所述第一输入数据集执行所述流水线应用之后，识别要对其执行所述流水线应用的第二输入数据集；确定所述第一输入数据集与所述第二输入数据集之间的差异的集合；以及对所述差异集合执行所述流水线应用以产生第二输出数据集。

主权项

1.一种由一个或多个处理器执行的计算机实现的方法，所述方法包括：/n识别包括指令的同步代码，所述指令指定要对数据集执行的计算操作；/n将所述同步代码变换成包括一个或多个流水线对象的流水线应用，所述流水线应用被配置成跨越多个计算设备并行执行，所述一个或多个流水线对象中的每一个流水线对象被配置成接收输入数据集并且产生输出数据集；/n识别要被执行所述流水线应用的第一输入数据集；/n对第一输入数据集执行所述流水线应用以产生第一输出数据集，执行所述流水线应用包括：/n按照前一个流水线对象将其输出数据集提供给下一个流水线对象作为其输入数据集的次序执行所述一个或多个流水线对象中的每一个流水线对象；以及/n响应于对所述第一输入数据集执行所述流水线而针对所述一个或多个流水线对象中的每一个流水线对象确定流水线对象状态，所述流水线对象状态包括所述流水线对象的所述输入数据集和所述输出数据集的表示；/n在对所述第一输入数据集执行所述流水线应用之后，识别要被执行所述流水线应用的第二输入数据集；/n确定所述第一输入数据集与所述第二输入数据集之间的差异集合；以及/n对所述差异集合执行所述流水线应用以产生第二输出数据集，对所述差异集合执行所述流水线应用包括：/n执行所述一个或多个流水线对象中的每一个流水线对象，包括每一个前一个流水线对象按照将与其前一个输出数据集的差异提供给所述下一个流水线对象作为其输入数据集的次序，并且所述第二输出数据集包括与所述第一输出数据集的差异；以及/n响应于对与所述第一输入数据集的所述差异集合执行所述流水线而更新所述流水线对象状态，以生成更新的流水线对象状态，所述更新的流水线对象状态包括与所述流水线对象的所述输入数据集和所述输出数据集的差异。/n