[发明专利]一种基于多GPU的图数据处理系统及方法

摘要

本发明公开了一种基于多GPU的图数据处理系统及方法，首先通过数据划分模块对输入的原始图数据进行划分，并将划分后的数据分配到各个GPU设备中；然后通过任务管理模块对每个GPU设备上的顶点按照计算属性分配不同的计算任务，并管理各种任务的执行顺序；接着通过执行模块在保证数据一致性的同时，完成各个GPU设备上并行计算任务的执行；最后通过数据收集模块在计算完成以后，完成数据收集的过程。本发明提出新的任务分配和管理机制，最大化并行效率，利用计算掩盖通信，解决目前基于GPU的图处理系统存在GPU‑CPU通信开销大以及能够处理图数据的规模有限的问题，从而提高了在GPU上处理大规模图数据的效率。

主权项

1.一种基于多GPU的图数据处理系统，其特征在于，包括：数据划分模块、任务管理模块、执行模块以及数据收集模块；/n所述数据划分模块，用于对原始图数据进行划分，并将划分后的数据分配到各个GPU设备中；/n所述任务管理模块，用于对每个GPU设备中的顶点按照计算属性分配不同的计算任务，并管理GPU上不同粒度的计算任务、GPU与CPU之间的消息通信任务以及CPU上消息聚合任务的执行顺序；/n所述执行模块，用于在保证数据一致性的同时，完成各个GPU设备中并行计算任务的执行；/n所述数据收集模块，用于在计算任务完成以后，将计算结果从所有GPU设备中传输到CPU中，完成数据收集；/n所述任务管理模块包括任务分配模块以及任务流管理模块；/n所述任务分配模块，用于根据预设分类方法将每个GPU设备上的所有顶点根据计算属性分为Outer点和Inner点，利用CUDA Stream方式，为Outer点和Inner点分配不同的计算任务；/n所述任务流管理模块，用于协调GPU上不同粒度的计算任务、GPU与CPU之间的消息通信任务以及CPU上消息聚合任务之间的执行顺序，利用计算时间掩盖通信时间，使得CPU和GPU的资源充分利用；/n所述任务流管理模块包括优先级确定模块以及任务流管理子模块；/n所述优先级确定模块，用于将Outer点所在的计算任务设置高优先级，将Inner点所在的计算任务设置低优先级以确定各GPU设备中的任务执行顺序；/n所述任务流管理子模块，用于通过控制Outer点和Inner点的计算任务，GPU与CPU之间的通信任务以及CPU上消息聚合任务的执行顺序，使得在执行计算任务的同时进行通信任务，互不干扰且保证各设备资源的充分利用。/n