[发明专利]一种基于NUMA架构的大规模流式图数据更新方法

摘要

本发明公开了一种基于NUMA架构的大规模流式图数据更新方法，属于大数据技术领域。本发明对度较小的顶点，直接采用batch update方法处理更新，对度较大的顶点，根据顶点的更新代价较小原则，自适应选择调用batch update方法或beap‑based update方法处理更新，降低了检索和插入复杂度；将度较小的顶点直接存储在完全连续的直接索引，将度较大的顶点存储在独立可扩展的间接索引结构，在更新时存储结构不需要频繁动态分配空间，间接索引结构的存储页是完全连续的；将完整图数据集中的各顶点按度数依次划分到不同的NUMA Node上，并分配各顶点被划分到的Node上的CPU来处理顶点的更新数据，使得本地Node上的CPU访问本地内存来处理更新数据，尽量减少更新过程中的远程访问，来提高访问效率。

主权项

1.一种基于NUMA架构的大规模流式图数据更新方法，其特征在于，该方法包括以下步骤：S1.初始化服务器端的基础图数据，并将服务器端完整图数据各个顶点划分到不同的NUMA Node；S2.服务器端接收客户端发送的更新批次，并依次将更新批次加入请求队列；S3.服务器端从请求队列取出待处理更新批次，按照源节点将该更新批次划分为多个更新段，并将各个顶点的更新段分配给该顶点划分到的Node；S4.依次处理该更新批次内的各个顶点的更新段，判断该顶点的度数是否大于阈值，若是，进入步骤S5，否则，进入步骤S6；S5.根据顶点的更新代价较小原则，自适应选择调用batch update方法或beap‑based update方法更新基础图数据，将更新数据存储到间接索引结构，该间接索引结构在该顶点划分到的Node上动态分配内存；S6.调用batch update方法更新基础图数据，将更新数据存储到直接索引结构；S7.重复步骤S3～S6，直至请求队列里所有更新批次处理完。