[发明专利]GPU资源调度方法及装置

权利要求书

1.一种GPU资源调度方法，其特征在于，所述方法应用于GPU集群，所述GPU集群包括主节点和从节点，所述从节点对应于一个或多个GPU，所述主节点和从节点是运行在CPU中的应用程序，所述应用程序通过调用GPU提供的API接口实现GPU资源的调度，所述方法包括：

主节点接收来自第一从节点的请求GPU计算资源的请求命令，所述请求命令为所述第一从节点接收到客户端提交的计算任务时发出的；

主节点确定各从节点的GPU空闲率；

主节点选择第二从节点，所述第二从节点为所有从节点中GPU空闲率最高的从节点；

主节点将第二从节点的信息发送给所述第一从节点，以使所述第一从节点将所述计算任务发送给所述第二从节点；

所述确定各从节点的GPU空闲率，包括：

获取各从节点的GPU资源状态信息；

针对任一从节点，根据该从节点的GPU资源状态信息，确定该从节点对应的每个GPU的空闲率；

根据该从节点对应的每个GPU的空闲率，确定该从节点的GPU空闲率。

2.根据权利要求1所述的GPU资源调度方法，其特征在于，所述根据该从节点的GPU资源状态信息，确定该从节点对应的每个GPU的空闲率，包括：

针对任一GPU，根据以下公式计算该GPU的空闲率F：

其中，freq为GPU的核心频率，SM为GPU的流处理器数量，Core为根据CUDA(ComputeUnified Device Architecture)的计算能力获得的核心数，GPUPerc为GPU的核心空闲率，memFreq为GPU对应的显存的核心频率，busWidth为GPU对应的显存总线的位宽，memPerc为GPU对应的显存的空闲率，warpSize为线程束的数量。

3.根据权利要求1所述的GPU资源调度方法，其特征在于，所述根据该从节点对应的每个GPU的空闲率，确定该从节点的GPU空闲率，包括：

主节点选择该从节点对应的GPU的最大空闲率作为该从节点的GPU空闲率；或者，

主节点将该从节点对应的各个GPU的空闲率的均值作为该从节点的GPU空闲率。

4.一种GPU资源调度装置，其特征在于，所述装置应用于GPU集群中的主节点，所述GPU集群包括主节点和从节点，所述从节点对应于一个或多个GPU，所述主节点和从节点是运行在CPU中的应用程序，所述应用程序通过调用GPU提供的API接口实现GPU资源的调度，所述装置包括：

接收模块，用于接收来自第一从节点的请求GPU计算资源的请求命令，所述请求命令为所述第一从节点接收到客户端提交的计算任务时发出的；

确定模块，用于确定各从节点的GPU空闲率；

选择模块，用于选择第二从节点，所述第二从节点为所有从节点中GPU空闲率最高的从节点；

发送模块，用于将第二从节点的信息发送给第一从节点，以使所述第一从节点将所述计算任务发送给所述第二从节点；

所述确定模块包括：

获取单元，用于获取各从节点的GPU资源状态信息；

第一确定单元，用于针对任一从节点，根据该从节点的GPU资源状态信息，确定该从节点对应的每个GPU的空闲率；

第二确定单元，用于根据该从节点对应的每个GPU的空闲率，确定该从节点的GPU空闲率。

5.根据权利要求4所述的GPU资源调度装置，其特征在于，第一确定单元包括：

计算单元，用于针对任一GPU，根据以下公式计算该GPU的空闲率F：

其中，freq为GPU的核心频率，SM为GPU的流处理器数量，Core为根据CUDA(ComputeUnified Device Architecture)的计算能力获得的核心数，GPUPerc为GPU的核心空闲率，memFreq为GPU对应的显存的核心频率，busWidth为GPU对应的显存总线的位宽，memPerc为GPU对应的显存的空闲率，warpSize为线程束的数量。

6.根据权利要求4所述的GPU资源调度装置，其特征在于，所述第二确定单元包括以下单元中的一个或多个：

第一选择单元，用于主节点选择该从节点对应的GPU的最大空闲率作为该从节点的GPU空闲率；

第二选择单元，用于主节点将该从节点对应的各个GPU的空闲率的均值作为该从节点的GPU空闲率。