[发明专利]基于网络拓扑结构的超级计算机大数据处理能力测试方法

说明书

一种基于网络拓扑结构的超级计算机大数据处理能力测试方法，目的是提高超级计算机大数据处理能力测试速度。技术方案是：生成图G并构建G的邻接矩阵A；根据被测超级计算机系统胖树网络结构确定N叉树拓扑结构模型，按照N叉树通信拓扑模型将图G的顶点重新分布到被测超级计算机的高性能计算结点上，得到与N叉树拓扑结构模型相适应的匹配树，根据匹配树对图G进行BFS搜索，计算图测试性能的评价值。采用本发明能最大限度地发挥超级计算机网络通信带宽利用率，最小化关联结点间的通信路径，提高网络和访存带宽利用率，提高超级计算机大数据处理能力测试速度。

技术领域

本发明涉及超级计算机大数据处理能力测试方法，尤指基于网络拓扑结构的超级计算机大数据处理能力测试方法。

背景技术

图结构是大数据应用中最重要的数据结构之一，在众多领域中得到广泛的应用，如社交媒体、生物信息学、天体物理学、人工智能、数据挖掘等等。这些应用的共同特点是数据量大和结构复杂，往往可以达到数万亿个节点和边，这导致在数据存储和计算力方面具有更高的需求。超级计算机主要用于数值计算，大多数HPC(High Performance Computing)基准测试都是以计算力作为衡量标准，如Top 500采用的 HPL(High PerformanceLinpack)；在数据密集型应用广泛兴起的大数据时代，Graph 500作为Top500的重要补充，是测试超级计算机计算力(即超级计算机对数据的处理能力)的新的基准测试程序。Graph500以每秒遍历图中边的数量TEPS(Traversed Edge Per Second)来衡量超级计算机的大数据处理能力。超级计算机系统通常由计算结点、存储结点、互连网络组成，其中，计算结点和存储结点通过交换机由互连网络连接组成超级计算机系统，结点间的交互信息均通过交换机转发(2个相互通信的结点间需要通过的交换机个数称为节点间路径的跳数，跳数越多则路径越长)，转发消息经互连网络达到目标结点，通常情况下，与交换机直接连接的高性能结点(包括计算结点和存储结点)称为交换机直接路由范围的结点或直连结点或直连结点隶属于该交换机，同一交换机直接连接的高性能结点之间的通信，通信路径简单，只需要1步跳数就可以完成通信交互，隶属于不同交换机的高性能结点之间的通信路径相对复杂，需要多步跳数才能完成通信，带宽利用率和效率是Graph500测试性能的关键因素，通信路径越简单，通信效率越高，带宽性能表现也越好。因此，基于网络拓扑结构尽量将存在边关联的结点分布至同一交换机直接路由范围内，能够有效简化通信路径，提升Graph500测试性能。

Graph500基准测试程序由图生成、图存储变换、BFS搜索与验证、结果输出四部分组成，如图1所示。

第一步，图生成：通过Kronecker图生成器生成随机图结构G＝(V,E)，V为顶点集合，V中包含N_V个顶点，N_V为正整数；E为边集合，E中包含N_E条边，N_E为正整数；通常使用v_i表示图中编号为i的顶点，使用顶点对(v_i,v_j)表示顶点i到顶点j 的边。(v_i,v_j)∈E，0≤i≤N_V-1，0≤j≤N_V-1，N_V为V中顶点个数。

第二步，图存储变换与分布：将图G转化为邻接矩阵，以邻接矩阵的形式来存储图G，并将图G采用scatter发散操作(分布式并行编程MPI规范标准操作函数) 分布至超级计算机各处理结点。G转化成邻接矩阵A，A中的第i行A_i为邻接表。如图2所示，形如图2中 (a)的图G可用图2中 (b)的邻接矩阵A表示，A中第i行第j列的元素A_ij表示边(v_i,v_j)。通常使用1表示存在这样的边，0表示不存在这样的边。