[发明专利]一种基于NUMA架构的大规模流式图数据更新方法

权利要求书

1.一种基于NUMA架构的大规模流式图数据更新方法，其特征在于，该方法包括以下步骤：

S1.初始化服务器端的基础图数据，并将服务器端完整图数据各个顶点划分到不同的NUMA Node；

S2.服务器端接收客户端发送的更新批次，并依次将更新批次加入请求队列；

S3.服务器端从请求队列取出待处理更新批次，按照源节点将该更新批次划分为多个更新段，并将各个顶点的更新段分配给该顶点划分到的Node；

S4.依次处理该更新批次内的各个顶点的更新段，判断该顶点的度数是否大于阈值，若是，进入步骤S5，否则，进入步骤S6；

S5.根据顶点的更新代价较小原则，自适应选择调用batch update方法或beap-basedupdate方法更新基础图数据，将更新数据存储到间接索引结构，该间接索引结构在该顶点划分到的Node上动态分配内存；

S6.调用batch update方法更新基础图数据，将更新数据存储到直接索引结构；

S7.重复步骤S3～S6，直至请求队列里所有更新批次处理完；

步骤S5包括以下子步骤：

步骤S51.判断顶点v的间接索引结构是否已组织为beap形式，若是，则直接采用beap-based方法来处理当前顶点v的更新；否则，则根据顶点的更新段B_v，计算更新段长度len_b和顶点v的当前度数d(v)，进入步骤S52；

步骤S52.根据更新段长度len_b和顶点v的当前度数d(v)，分别计算batch update和beap-based update方法的更新成本cost_BU和cost_beap；

cost_BU＝d(v)*log₂len_b

步骤S53.判断Cost_BU是否小于Cost_beap，若是，则采用batch update方法来处理当前顶点v的更新；否则，则将顶点v的邻居列表重构为beap形式，再采用beap-based update方法来处理当前顶点v的更新。

2.如权利要求1所述的大规模流式图数据更新方法，其特征在于，步骤S1包括以下子步骤：

步骤S11.初始化系统的基础图数据，并将完整图数据中各顶点按照当前度数从大到小排序；

步骤S12.将完整图数据中各顶点按序均分到所有NUMA Node，使得各NUMA Node负载均衡。

3.如权利要求1所述的大规模流式图数据更新方法，其特征在于，步骤S3包括以下子步骤：

步骤S31.从请求队列取出下一个待处理的更新批次；

步骤S32.根据该更新批次中源节点划分，得到更新批次中各个顶点的更新段；

步骤S33.获取各个顶点被分配的NUMA Node，将对应更新段分配给该Node上的空闲CPU。

4.如权利要求1至3任一项所述的大规模流式图数据更新方法，其特征在于，间接索引结构存储模型具体包括：一个4KB的L1索引页，共包含512个指针项，前511个指针均可指向1KB大小的L1存储页，最后一个指针项可指向一个4KB的L2索引页，将索引扩展到第二级，类似地，L2索引页共包含512个指针项，所有的指针均可指向2MB大小的L2存储页。

5.如权利要求1至3任一项所述的大规模流式图数据更新方法，其特征在于，在不断接收更新数据的过程中，如果一个顶点v的度数超过了阈值，为该顶点分配一个L1索引页和第一个L1存储页，然后将直接索引结构中顶点v所在的cell里面的所有邻居列表数据搬移到L1存储页，最后将该cell回收到直接索引结构中，将cell的标识单元s置为空闲状态；如果第一个L1存储页已满，为顶点v分配第二个L1存储页，依次在需要的时候才分配L1存储页；如果所有L1存储页都已存满，为顶点分配一个L2索引页和第一个L2存储页，L1索引页的最后一个指针项指向L2索引页。