[发明专利]一种基于NUMA架构的大规模流式图数据更新方法

说明书

本发明公开了一种基于NUMA架构的大规模流式图数据更新方法，属于大数据技术领域。本发明对度较小的顶点，直接采用batch update方法处理更新，对度较大的顶点，根据顶点的更新代价较小原则，自适应选择调用batch update方法或beap‑based update方法处理更新，降低了检索和插入复杂度；将度较小的顶点直接存储在完全连续的直接索引，将度较大的顶点存储在独立可扩展的间接索引结构，在更新时存储结构不需要频繁动态分配空间，间接索引结构的存储页是完全连续的；将完整图数据集中的各顶点按度数依次划分到不同的NUMA Node上，并分配各顶点被划分到的Node上的CPU来处理顶点的更新数据，使得本地Node上的CPU访问本地内存来处理更新数据，尽量减少更新过程中的远程访问，来提高访问效率。

技术领域

本发明属于大数据技术领域，更具体地，涉及一种基于NUMA架构的大规模流式图数据更新方法。

背景技术

在大数据时代，流式图数据的大规模、高更新频率使得图计算技术领域面临巨大挑战。如何加快接收流式图数据更新量的速度，以维持最新图结构，成为了亟待解决的问题。近几年，大规模流式图处理系统有了一些成果——Stinger、Snap、DCSR、GPMA。这些成果极大地提高了接收流式图更新的速度，同时能够支撑图算法的执行性能。这些流式图处理的方式主要包括：基于服务器的流式图系统和基于GPU设备的流式图系统。

基于服务器的流式图系统，如Stinger，每个顶点都会有出边和入边邻居列表，邻居列表的数据结构是基于链接的block list结构，每个block可存储固定数目大小的出边或入边，其图更新的步骤是：初始化图结构、客户端给服务端以批次为单位发送更新数据、服务端接收图更新数据、服务端处理接收的图更新数据、服务端更新图结构。基于服务器的流式图系统随着图规模的扩大有很好的扩展性，但是系统处理效率难以提高。首先，在面临高更新频率的图数据时，其存储结构需要不断的分配和回收空间，时间开销大。其次，采用的数据结构在更新图数据时的检索和插入复杂度较高，特别是度数越高的顶点，邻居列表越长，检索时间越长，制约了系统的性能。最后，数据在内存中存放不连续，对于各类图算法的执行不利。

基于GPU设备的流式图系统，如GPMA，则是在GPU上提出存储方案，利用PMA结构，为树结构的每一层片段分配上下界密度阈值，根据密度范围来分配图数据。而基于GPU设备的图系统，主要是设备空间大小受限，系统能处理的图规模受限。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术大规模流式图数据更新时间开销大的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于NUMA架构的大规模流式图数据更新方法，该方法包括以下步骤：

S1.初始化服务器端的基础图数据，并将服务器端完整图数据各个顶点划分到不同的NUMA Node；

S2.服务器端接收客户端发送的更新批次，并依次将更新批次加入请求队列；

S3.服务器端从请求队列取出待处理更新批次，按照源节点将该更新批次划分为多个更新段，并将各个顶点的更新段分配给该顶点划分到的Node；

S4.依次处理该更新批次内的各个顶点的更新段，判断该顶点的度数是否大于阈值，若是，进入步骤S5，否则，进入步骤S6；

S5.根据顶点的更新代价较小原则，自适应选择调用batch update方法或beap-based update方法更新基础图数据，将更新数据存储到间接索引结构，该间接索引结构在该顶点划分到的Node上动态分配内存；

S6.调用batch update方法更新基础图数据，将更新数据存储到直接索引结构；

S7.重复步骤S3～S6，直至请求队列里所有更新批次处理完。

具体地，步骤S1包括以下子步骤：