[发明专利]一种分布式图处理系统中以混合方式写检查点的方法

说明书

本发明公开了一种分布式图处理系统中以混合方式写检查点的方法，通过预先建立代价模型得到现有写检查点方式的代价计算公式，然后在系统运行过程中采集与代价计算公式相关的时间数据，并在需要写检查点的超步计算出以不同方式写检查点的代价，最后选择出代价较小的方式去写检查点，从而减少了现有的以单一方式写检查点给系统执行时间带来的开销，最终缩短了系统的执行时间。

技术领域

本发明属于分布式图处理领域，尤其涉及基于BSP(BulkSynchronousParallel)迭代模型的分布式图处理系统的写检查点方法。

背景技术

在BSP模型中，一个完整的计算由一系列超步组成，其中每个超步包括三个阶段：本地计算、消息传递、栅栏同步。基于BSP迭代模型的分布式图处理系统通常采用master/worker架构去完成计算。在计算开始前，master将输入图进行分区并且将分区分配给workers。分区分配完成后，master命令workers完成一系列的超步。在每个需要写检查点的超步，workers会在master的协调之下完成写检查点的工作，然后workers开始完成分区计算并且持续的向master汇报执行的状态。一旦所有的worker结束当前的超步，master就会协调所有的worker进入到下一个超步。

为了应对处理过程中发生的故障，分布式图处理系统通常采用写检查点的方法去保存系统的状态，然后在发生故障时将系统恢复到这一状态。目前分布式图处理系统中写检查点的方法分为以阻塞方式写检查点和以非阻塞方式写检查点。

绝大部分基于BSP迭代模型的分布式图处理系统都采用阻塞方式写检查点，在以阻塞方式写检查点的过程中，用户会指定写检查点的超步间隔，然后系统会在满足间隔的超步以阻塞的方式写入检查点。图1显示了一个master和两个workers采用阻塞方式写检查点的过程，在符合间隔的超步的开始，两个workers直接将本地内存中的状态上传至HDFS。每个worker会在状态上传结束后开始计算。与此同时，所有的workers在状态上传结束后会通知master，master接收到所有的workers通知后开始上传状态到HDFS。通过以阻塞方式写检查点，系统确保了最近的检查点被完整的写入到可靠的外部存储上，一旦故障发生，系统会读取最近的检查点进行回滚从而减少恢复时间。然而在无故障的情况下，采阻塞方式写检查点会导致系统的执行时间变长。

与以阻塞方式写检查点不同，以非阻塞方式写检查点并不要求所有的workers在计算开始之前直接上传它们的状态到HDFS。如图2所示，在采用非阻塞方式写检查点的超步的开始，每个worker首先将本地内存中的状态保存到本地磁盘，然后以异步的方式将状态从磁盘上传到HDFS。换句话来说，在以非阻塞方式写检查点的过程中，上传状态到HDFS这一过程与计算是并行的。通过采用非阻塞方式写检查点，在无故障情况下，系统减少了因写检查点给执行时间带来的开销。然而在故障发生的情况下，检查点或许还没有写入完成，这使得采用非阻塞方式写检查点的系统的恢复时间会比采用阻塞方式写检查点的系统的恢复时间更长，因为系统不得不回滚到一个更早的检查点。

总的来说以阻塞方式写检查点和以非阻塞方式写检查点都会给系统的执行时间带来额外的开销，其中以阻塞方式写检查点的开销在正常执行期间产生，而以非阻塞方式写检查点的开销在故障恢复过程中产生。

发明内容

本发明的目的是提出一种分布式图处理系统中以混合方式写检查点的方法，该方法将以阻塞方式写检查点和以非阻塞方式写检查点结合起来，实现了写检查点方式的自适应选择，从而减少了写检查点给系统执行时间带来的开销。

实现本发明目的的具体技术方案是：

一种分布式图处理系统中以混合方式写检查点的方法，该方法包括：

步骤A1：建立代价模型；

步骤A2：采集代价模型所需的超步运行时间数据；