[发明专利]一种基于FPGA的动态图处理方法

说明书

本发明涉及一种基于FPGA的动态图处理方法，方法包括：在动态图的相邻时间戳的图镜像之间具有增量的情况下，预处理模块将后一时间戳的图镜像以任意图顶点的增量计算仅依赖于该任意图顶点的前序图顶点的方式划分为至少一个路径单元；FPGA处理模块将至少两个路径单元按照每一线程单元能够独立处理路径单元的方式存储于线程直连的片上存储器上；线程单元在将前序图顶点的状态值更新的情况下确定前序图顶点的相邻的时间戳之间的增量值，并按照路径单元确定的传递方向将增量值传递至前序图顶点相邻的后续图顶点，以对后续图顶点的状态值进行更新。

技术领域

本发明涉及计算机大数据处理的图计算技术领域，尤其涉及一种基于FPGA的动态图处理方法。

背景技术

随着大数据时代的到来，图处理系统逐渐变得重要。作为一种数据结构，图在结构和语义等方面具有很强的表达能力，能够很好地描述事物之间的关联性。通过将现实世界中的关系属性抽象为图数据结构，图处理系统能够执行图算法来分析这些图数据。例如，通过网页排名（PageRank）算法可以对图顶点进行重要性排名；通过强连通分量算法可以获得图顶点间的可达性关系。

然而，由于真实世界中的事物之间的关系每时每刻都在变化，这使得图数据结构频繁地动态变化，因此动态图处理逐渐受到重视。动态图通常被看作一组图镜像的序列，其中，每个图镜像对应动态图在一个检查点的静态图数据结构。传统的动态图处理系统基于CPU架构，主要采用以下两种技术。第一种动态图处理方法对每个图镜像执行静态图算法进行全量计算。该方法把每次变化后的图镜像当做全新的静态图，重新处理整个图。这种方法内存占用高，冗余数据访问量和计算量大，难以实时响应真实世界中的图数据结构频繁的动态变化。另一种动态图处理方法是基于前次图镜像的结构对新图镜像进行增量计算，它首先动态维护每次增量计算的结果并采用该结果对下次增量计算进行初始化，然后选择受到增量影响的图顶点作为起点将影响沿着边传播给其它图顶点。增量计算利用动态图的每次变化的相邻两个图镜像之间的关系，减少了冗余数据访问量和计算量，提高了动态图处理的实时性。然而无论是全量计算还是增量计算，基于传统CPU架构的动态图处理系统都受制于底层指令流架构的低指令并行度和高随机访存延迟。

为了解决传统CPU架构的低效问题，基于FPGA的图处理方法已经成为了图计算研究的一个主流方向。基于FPGA的图处理方法将片外存储器中的图数据加载到FPGA的片上存储器BRAM中，使用FPGA片上的可编程逻辑单元定制图处理的数据流模型。它使BRAM中的图数据以“流”的形式依次流过数据流模型中的每个定制硬件模块（例如取图顶点模块，取边偏移模块等），并且将模块的输出写回到BRAM中图数据的对应位置。当所有图数据在流动过程中不再更新（或者更新量小于阈值）时，此时图迭代收敛，图处理停止，输出最终结果。基于FPGA的图处理方法充分利用FPGA片上的计算资源和带宽资源，能有效解决传统架构的低效问题。然而，当前的所有基于FPGA的图处理方法均面向静态图数据，它们在处理动态图的时候通常采用全量计算方法对每个图镜像进行处理，我们称之为基于FPGA的动态图全量方法。

例如，公开号为CN106033476B的中国专利公开的一种云计算环境中分布式计算模式下的增量式图计算方法。该方法包括归并服务器生成增量图；归并服务器将增量图与历史图进行对比，找出历史图中链接结构的不变部分的顶点集合合并将其分发至各子节点数据交换器；作业考试前，各子节点的数据交换器对不变部分顶点的历史计算数据进行同步变换；各计算任务过滤不变部分的顶点并加载相应的历史计算数据；各计算任务在每轮超步计算时，复用不变部分顶点的历史计算数据并在计算完成时保存本次作业的计算数据。该发明对图文件中链接结构的不变部分顶点对应的计算消息进行复用，从而减少原系统中重复计算对资源的浪费并提高性能。