[发明专利]GPU资源管理方法、装置、系统与可读存储介质

说明书

本发明公开了一种GPU资源管理方法、装置、系统与计算机可读存储介质，该方法包括：在检测到第一应用的创建指令时，创建包含第一应用的第一虚拟机，并向第一虚拟机分配GPU资源；在检测到第一虚拟机在预设周期内未接收到业务请求时，将第一虚拟机占用的GPU资源释放，使得第一虚拟机进入休眠状态。本发明通过将在预设周期内未接收到业务请求的第一应用对应的虚拟机占用的GPU资源释放，使得虚拟机进入休眠状态，进而使得其他应用的虚拟机能使用GPU资源，提高GPU资源的利用率。

技术领域

本发明涉及通讯技术领域，尤其涉及GPU资源管理方法、装置、系统与计算机可读存储介质。

背景技术

随着应用越来越广泛被使用，对GPU(graphics processing unit，图形处理器)资源的依赖也越来越高，目前业界主要是通过NVIDIA(英伟达)原生的驱动器和CUDA(ComputeUnified Device Architecture，是NVIDIA推出的运算平台)来使用GPU资源，通常是一个应用独占一个GPU资源，或将多个应用指定共享一个GPU资源，但是，当应用没有进行工作的时候，被其占用的GPU资源无法被其他应用使用，导致GPU资源的利用率较低。

因此，如何提高GPU资源的利用率是急需解决的问题。

发明内容

本发明的主要目的在于提出一种GPU资源管理方法、装置、系统与计算机可读存储介质，旨在解决提高GPU资源的利用率的问题。

为实现上述目的，本发明提供一种GPU资源管理方法，所述GPU资源管理方法包括如下步骤：

在检测到第一应用的创建指令时，创建包含所述第一应用的第一虚拟机，并向所述第一虚拟机分配GPU资源；

在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态。

进一步地，在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤包括：

在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移，以将所述第一GPU主机中被所述第一虚拟机的占用的GPU资源进行释放，使得所述第一虚拟机进入休眠状态。

进一步地，将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移的步骤包括：

将第一虚拟机对应的第一GPU主机中存储的所述第一应用对应的数据拷贝到所述第一GPU主机的内存和系统缓存中。

进一步地，在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法包括：

将所述第一虚拟机包含的所述第一应用从运行队列转移到挂起队列中，并将所述第一虚拟机释放的GPU资源分配给等待队列中的第二应用进行使用；

若接收到所述第一应用对应的业务请求时，则将所述第一应用从所述挂起队列转移到所述等待队列中；

当所述第一应用对应的虚拟机被分配到对应的GPU资源时，将所述第一应用从所述等待队列转移到所述运行队列中，以使所述第一应用对所述业务请求进行处理。

进一步地，在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法还包括：

获取所述第一应用的应用信息，根据所述应用信息确定第二GPU主机，并在所述第二GPU主机上创建包含所述第一应用的第二虚拟机；