[发明专利]GPU资源管理方法、装置、系统与可读存储介质

权利要求书

1.一种GPU资源管理方法，其特征在于，所述GPU资源管理方法包括如下步骤：

在检测到第一应用的创建指令时，创建包含所述第一应用的第一虚拟机，并向所述第一虚拟机分配GPU资源；

在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态。

2.如权利要求1所述的GPU资源管理方法，其特征在于，所述在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤包括：

在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移，以将所述第一GPU主机中被所述第一虚拟机的占用的GPU资源进行释放，使得所述第一虚拟机进入休眠状态。

3.如权利要求2所述的GPU资源管理方法，其特征在于，所述将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移的步骤包括：

将第一虚拟机对应的第一GPU主机的显存中存储的所述第一应用对应的数据拷贝到所述第一GPU主机的内存和系统缓存中。

4.如权利要求1所述的GPU资源管理方法，其特征在于，所述在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法包括：

将所述第一虚拟机包含的所述第一应用从运行队列转移到挂起队列中，并将所述第一虚拟机释放的GPU资源分配给等待队列中的第二应用进行使用；

若接收到所述第一应用对应的业务请求时，则将所述第一应用从所述挂起队列转移到所述等待队列中；

当所述第一应用对应的虚拟机被分配到对应的GPU资源时，将所述第一应用从所述等待队列转移到所述运行队列中，以使所述第一应用对所述业务请求进行处理。

5.如权利要求1至4任一项所述的GPU资源管理方法，其特征在于，所述在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法还包括：

获取所述第一应用的应用信息，根据所述应用信息确定第二GPU主机，并在所述第二GPU主机上创建包含所述第一应用的第二虚拟机；

在检测到所述第一应用对应的业务请求时，获取当前GPU资源剩余信息，根据所述当前GPU资源剩余信息，分别确定所述第一虚拟机对应的第一GPU主机的第一GPU剩余资源和所述第二虚拟机对应的第二GPU主机的第二GPU剩余资源；

确定所述第一应用所需的GPU资源，将所述第一GPU剩余资源和第二GPU剩余资源分别与所述第一应用所需的GPU资源进行对比，得到对比结果，并根据所述对比结果，向所述第一虚拟机或所述第二虚拟机分配对应的GPU资源；

通过所述第一虚拟机或所述第二虚拟机处理所述第一应用对应的业务请求。

6.如权利要求5中所述的GPU资源管理方法，其特征在于，所述根据所述对比结果，向所述第一虚拟机或所述第二虚拟机分配对应的GPU资源的步骤包括：

若所述对比结果为所述第一GPU剩余资源大于所述第一应用所需的GPU资源，则通过所述第一虚拟机对应的第一GPU主机向所述第一虚拟机分配对应的GPU资源；

若所述对比结果为所述第二GPU剩余资源大于所述第一应用所需的GPU资源，则通过所述第二虚拟机对应的第二GPU主机向所述第二虚拟机分配对应的GPU资源。

7.如权利要求5所述的GPU资源管理方法，其特征在于，所述向所述第一虚拟机或所述第二虚拟机分配对应的GPU资源的步骤之后，所述GPU资源管理方法包括：

删除所述第一虚拟机或所述第二虚拟机，并记录所述第一虚拟机或第二虚拟机的最后处理所述业务请求的处理时间戳；

获取当前时间戳，并根据所述当前时间戳和所述处理时间戳，确定是否使得所述第一虚拟机或所述第二虚拟机进入休眠状态。