[发明专利]一种高并发的GPU集群架构及其负载均衡方法

权利要求书

1.一种高并发的GPU集群架构，其特征在于，包括任务分布节点、若干计算节点；

所述计算节点间采用分布式计算方式；所述计算节点包含若干CPU和若干GPU；所述计算节点内采用异构架构；所述节点包含若干设备；所述设备包含节点内全部所述CPU或任一所述GPU；所述计算节点内CPU共享存储器；所述计算节点内GPU独享其内DRAM；所述计算节点内GPU与CPU共享存储器。

2.根据权利要求1所述的一种高并发的GPU集群架构，其特征在于，所述任务分布节点与计算节点、计算节点间均采用MPI消息通信；所述任务分布节点内存储作业列表；所述作业列表包含当前作业类型、计算量需求、存储量需求、网络需求。

3.根据权利要求1所述的一种高并发的GPU集群架构，其特征在于，所述异构架构采用CPU线程或CPU进程调度GPU的运行方式。

4.根据权利要求1所述的一种高并发的GPU集群架构，其特征在于，若所述计算节点内只包含单核CPU与若干GPU连接,则所述CPU进行逻辑和事务串行计算；所述GPU进行并行计算；若所述计算节点内包含多核CPU与若干GPU连接；则所述CPU进行逻辑和事务串行计算、并行计算；所述GPU进行并行计算。

5.根据权利要求1所述的一种高并发的GPU集群架构，其特征在于，所述CPU采用MPI进程、pThread线程控制CPU核并行计算；所述GPU采用CUDA或OpenCL编程控制GPU众核并行计算。

6.根据权利要求1-5任一所述的一种高并发的GPU集群架构的负载均衡方法，其特征在于，步骤如下：

S00：GPU集群中任务分布节点获取作业列表中的当前作业；

S01：任务分布节点分析计算量需求、存储量需求、网络需求；

S02：任务分布节点根据节点信息列表匹配当前作业至计算节点；

S03：任务分布节点根据计算节点定时反馈更新节点信息列表。

7.根据权利要求6所述的一种高并发的GPU集群架构的负载均衡方法，其特征在于，所述节点信息列表包括节点IP、CPU利用率、进程数量、GPU利用率、剩余存储空间。

8.根据权利要去6所述的一种高并发的GPU集群构架的负载均衡方法，其特征在于，所述任务分布节点根据节点信息列表匹配当前作业至计算节点的步骤如下：

所述任务分布节点根据节点信息列表判断是否存在空闲节点，若存在，则任务分布节点有限匹配当前作业至计算节点，若不存在，则任务分布节点从满足计算需求、存储需求、网络需求的计算节点中选择GPU利用率最低的计算节点。