[发明专利]GPU资源调度方法及装置

说明书

本公开涉及GPU资源调度方法及装置，所述方法包括：主节点接收来自第一从节点的请求GPU计算资源的请求命令，所述请求命令为所述第一从节点接收到客户端提交的计算任务时发出的；主节点确定各从节点的GPU空闲率；主节点选择第二从节点，所述第二从节点为所有从节点中GPU空闲率最高的从节点；主节点将第二从节点的信息发送给所述第一从节点，以使所述第一从节点将所述计算任务发送给所述第二从节点。根据本公开各方面的GPU资源调度方法/装置能够实现GPU集群的计算资源得到均衡调度，提高GPU集群的计算性能，且不需要用户手动管理GPU资源，调度方式简单。

技术领域

本公开涉及计算机技术领域，尤其涉及一种GPU资源调度方法及装置。

背景技术

图形处理器(Graphics Processing Unit，GPU)，又称显示核心、视觉处理器、显示芯片，专为计算密集型、高度并行化的计算而设计。GPU在许多领域得到应用，且性能远超传统CPU(Central Processing Unit)性能。

在规模越来越大的密集型应用系统中，单机GPU完全满足不了应用需要，为提升GPU计算性能可以从纵向扩展机器。但纵向扩展GPU容易受到硬件的性能限制，且性价比非常低。

为提高GPU的计算性能，还可以横向扩展GPU集群，由多个节点上的多个GPU芯片组成GPU集群，以完成复杂的计算任务。然而，各节点上的GPU彼此独立无法进行通信，用户需要手动管理GPU集群资源，复杂度高、可移植性差；同时，也无法保证GPU集群的计算资源得到均衡调度。

发明内容

有鉴于此，本公开提出了一种GPU资源调度方法及装置，能够实现GPU集群的计算资源得到均衡调度，且无需用户手动管理GPU集群资源。

根据本公开的一方面，提供了一种GPU资源调度方法，所述方法应用于GPU集群，所述GPU集群包括主节点和从节点，所述从节点对应于一个或多个GPU，所述方法包括：主节点接收来自第一从节点的请求GPU计算资源的请求命令，所述请求命令为所述第一从节点接收到客户端提交的计算任务时发出的；主节点确定各从节点的GPU空闲率；主节点选择第二从节点，所述第二从节点为所有从节点中GPU空闲率最高的从节点；主节点将第二从节点的信息发送给所述第一从节点，以使所述第一从节点将所述计算任务发送给所述第二从节点。

根据本公开的另一方面，提供了一种GPU资源调度装置，所述装置应用于GPU集群中的主节点，所述GPU集群包括主节点和从节点，所述从节点对应于一个或多个GPU，所述装置包括：接收模块，用于接收来自第一从节点的请求GPU计算资源的请求命令，所述请求命令为所述第一从节点接收到客户端提交的计算任务时发出的；确定模块，用于确定各从节点的GPU空闲率；选择模块，用于选择第二从节点，所述第二从节点为所有从节点中GPU空闲率最高的从节点；发送模块，用于将第二从节点的信息发送给第一从节点，以使所述第一从节点将所述计算任务发送给所述第二从节点。

通过构建包含主节点和从节点的分布式GPU集群框架，主节点响应于第一从节点发送的请求命令，确定GPU空闲率最高的从节点(第二从节点)，将第二从节点信息发送给第一的从节点，以使所述第一从节点将所述计算任务发送给所述第二从节点。根据本公开各方面的GPU资源调度方法/装置能够使GPU集群的计算资源得到均衡调度，提高GPU集群的计算性能，且不需要用户手动管理GPU资源，调度方式简单。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的GPU资源调度方法的流程图。

图2a示出根据本公开一实施例的GPU资源调度方法应用场景的示意图。