[发明专利]一种高并发的GPU集群架构及其负载均衡方法

说明书

本发明公开了一种高并发的GPU集群架构及其负载均衡方法。涉及GPU集群架构及其负载均衡方法技术领域。包括任务分布节点、若干计算节点；计算节点间采用分布式计算方式；计算节点包含若干CPU和若干GPU；计算节点内采用异构架构；节点包含若干设备；设备包含节点内全部CPU或任一GPU；计算节点内CPU共享存储器；计算节点内GPU独享其内DRAM；计算节点内GPU与CPU共享存储器。本发明通过GPU集群架构的任务分布节点对计算节点的负载均衡，实现了GPU集群的优化和对计算节点的负载均衡，优化了GPU集群架构，提高了GPU集群的负载均衡方法和GPU计算节点的计算效率。

技术领域

本发明属于GPU集群架构及其负载均衡方法技术领域，特别是涉及一种高并发的GPU集群架构及其负载均衡方法。

背景技术

GPU因其高性能的并行计算能力而被广泛用于分布式集群中的并行计算。在高并发的集群中多采用CPU+GPU混合计算节点；在CPU+GPU混合计算节点中的CPU与GPU有多种组合方式：单CPU与多GPU组合、单CPU与单GPU组合、多CPU与多GPU组合。

GPU集群的计算和运行效率取决于GPU集群的架构以及对GPU集群中运算节点的利用。为实现GPU集群计算和运行的高效率，本发明致力于发明一种高并发的GPU集群架构，以解决GPU集群架构不合理以及负载均衡方法差导致的GPU集群运行和计算的效率低的问题。

发明内容

本发明的目的在于提供一种高并发的GPU集群架构及其负载均衡方法，通过GPU集群架构的任务分布节点对计算节点的负载均衡，实现了GPU集群的优化和对计算节点的负载均衡，解决了现有的GPU集群架构不合理以及负载均衡方法差导致GPU集群运行和计算效率低的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种高并发的GPU集群架构及其负载均衡方法，包括任务分布节点、若干计算节点；所述计算节点间采用分布式计算方式；所述计算节点包含若干CPU和若干GPU；所述计算节点内采用异构架构；所述节点包含若干设备；所述设备包含节点内全部所述CPU或任一所述GPU；所述计算节点内CPU共享存储器；所述计算节点内GPU独享其内DRAM；所述计算节点内GPU与CPU共享存储器。

优选地，所述任务分布节点与计算节点、计算节点间均采用MPI消息通信；所述任务分布节点内存储作业列表；所述作业列表包含当前作业类型、计算量需求、存储量需求、网络需求。

优选地，所述异构架构采用CPU线程或CPU进程调度GPU的运行方式。

优选地，若所述计算节点内只包含单核CPU与若干GPU连接,则所述CPU进行逻辑和事务串行计算；所述GPU进行并行计算；若所述计算节点内包含多核CPU与若干GPU连接；则所述CPU进行逻辑和事务串行计算、并行计算；所述GPU进行并行计算。

优选地，所述CPU采用MPI进程、pThread线程控制CPU核并行计算；所述GPU采用CUDA或OpenCL编程控制GPU众核并行计算。

一种高并发的GPU集群架构的负载均衡方法，步骤如下：

S00：GPU集群中任务分布节点获取作业列表中的当前作业；

S01：任务分布节点分析计算量需求、存储量需求、网络需求；

S02：任务分布节点根据节点信息列表匹配当前作业至计算节点；

S03：任务分布节点根据计算节点定时反馈更新节点信息列表。

优选地，所述节点信息列表包括节点IP、CPU利用率、进程数量、GPU利用率、剩余存储空间。

优选地，所述任务分布节点根据节点信息列表匹配当前作业至计算节点的步骤如下：