[发明专利]一种网格化流水的全收集方法

说明书

本发明公开一种网格化流水的全收集方法，包括以下步骤：S1、将每个超节点内的进程组织为一个分组，每个分组不必具备同样多的进程；S2、每个分组选出任意一个进程作为代表进程，参与到组间的通信中，由此构成二级网格化通信结构，并将二级网格化通信结构映射到大规模集群互联网络结构；S3、在所述二级网格化通信结构上，先在各组内完成数据的收集和共享，再开启全局流水。本发明能够合理利用资源，实现全收集集合通信中的通信聚合和顶层网络的带宽节省，有效提高了全收集集合通信的性能，对通信密集型应用具有积极影响。

技术领域

本发明涉及一种网格化流水的全收集方法，属于高性能计算机技术领域。

背景技术

高性能计算系统计算资源规模庞大，应用课题同时并发的进程数可能达到数万乃至数十万规模，而因为工艺技术和成本控制等原因，部分高性能计算系统上超节点间的网络通信线路受到裁剪，使得顶层网络带宽受限，存在大规模并发应用的细粒度全收集通信对顶层网络带宽占用过大的问题。

鉴于高性能计算系统的上述特点，大规模并行应用在进行细粒度全收集通信中将不可避免地受到由于网络资源受限而引发的通信带宽不足的影响，进而造成大规模并行应用在高性能计算系统上的性能问题。因此，针对高性能计算系统结构特点，研究网格化流水的高性能全收集并发通信优化手段，抑制细粒度通信对顶层网络带宽占用过大的问题，保证大规模并行应用性能，已成为通信优化方法的重点研究方向。

现有全收集集合通信技术在含有顶层裁剪的互联网络大规模计算集群中，由于通信粒度过小会造成有限的顶层带宽占用过大的问题，从而造成大规模并行应用性能受限。高性能计算机系统含有顶层裁剪的互联网络，在面临大规模计算应用中全收集集合通信时，存在有限顶层带宽占用过大的问题。

发明内容

本发明的目的是提供一种网格化流水的全收集方法，以克服在大规模计算集群中全收集集合通信所面临的通信粒度过小、有限的顶层带宽占用过大的问题，有效提高了全收集集合通信的性能。

为达到上述目的，本发明采用的技术方案是：提供一种网格化流水的全收集方法，包括以下步骤：

S1、将每个超节点内的进程组织为一个分组，每个分组不必具备同样多的进程；

S2、每个分组选出任意一个进程作为代表进程，参与到组间的通信中，由此构成二级网格化通信结构，并将二级网格化通信结构映射到大规模集群互联网络结构；

S3、在所述二级网格化通信结构上，先在各组内完成数据的收集和共享，再经以下步骤开启全局流水：

S31、每个分组的代表进程之间迭代进行环状通信，将一个新的分组的全部数据发送至下一分组；

S32、每个分组内的代表进程以二叉树的结构向组内进行流水的广播，形成一个全局同时进行的分级流水通信结构；

S33、按照进程规模的不同，经多轮迭代的各组间环状通信和组内广播，完成所述二级网格化通信结构上的全局流水通信。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

本发明通过将参与通信的进程组织成二级网格化的结构，构建出分级流水，能够合理利用资源，实现全收集集合通信中的通信聚合和顶层网络的带宽节省，有效提高了全收集集合通信的性能，对通信密集型应用具有积极影响。

附图说明

附图1为本发明的全局流水通信方法示意图。

具体实施方式

实施例：本发明提供一种网格化流水的全收集方法，包括以下步骤：

S1、将每个超节点内的进程组织为一个分组，每个分组不必具备同样多的进程；

S2、每个分组选出任意一个进程作为代表进程，参与到组间的通信中，由此构成二级网格化通信结构，并将二级网格化通信结构映射到大规模集群互联网络结构；

S3、在所述二级网格化通信结构上，先在各组内完成数据的收集和共享，再经以下步骤开启全局流水：