[发明专利]一种GPU资源分配方法、系统、设备以及介质

权利要求书

1.一种GPU资源分配方法，其特征在于，包括以下步骤：

响应于接收到训练任务，获取所述训练任务中携带的显存类型和大小，其中显存类型包括持久显存和临时显存；

根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存；

响应于检测到所述训练任务当前迭代结束，清理所述临时显存，当所述训练任务开始下一次迭代训练时，重新分配临时显存并继续使用初始分配的持久显存；

响应于所述训练任务最后一次迭代训练结束，同时清理所述临时显存和所述持久显存。

2.如权利要求1所述的方法，其特征在于，根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存，进一步包括：

响应于当前GPU为共享GPU，获取当前CPU中已分配的持久显存的地址；

在已分配的持久显存的地址基础上偏移预设大小后为所述训练任务分配所述持久显存。

3.如权利要求1所述的方法，其特征在于，响应于接收到训练任务，获取所述训练任务中携带的显存类型和大小，其中显存类型包括持久显存和临时显存，进一步包括：

利用所述训练任务中的劫持函数获取所述训练任务所需的显存类型和大小并发送到GPU的管理器。

4.如权利要求3所述的方法，其特征在于，根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存，进一步包括：

为每一个GPU的显存设置持久区域和临时区域；

统计每一个GPU中持久区域和临时区域的使用情况；

根据每一个GPU中持久区域和临时区域的使用情况为所述训练任务分配所述持久显存和/或临时显存。

5.一种GPU资源分配系统，其特征在于，包括：

获取模块，配置为响应于接收到训练任务，获取所述训练任务中携带的显存类型和大小，其中显存类型包括持久显存和临时显存；

分配模块，配置为根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存；

第一清理模块，配置为响应于检测到所述训练任务当前迭代结束，清理所述临时显存，当所述训练任务开始下一次迭代训练时，重新分配临时显存并继续使用初始分配的持久显存；

第二清理模块，配置为响应于所述训练任务最后一次迭代训练结束，同时清理所述临时显存和所述持久显存。

6.如权利要求5所述的系统，其特征在于，分配模块还配置为：

响应于当前GPU为共享GPU，获取当前CPU中已分配的持久显存的地址；

在已分配的持久显存的地址基础上偏移预设大小后为所述训练任务分配所述持久显存。

7.如权利要求1所述的系统，其特征在于，获取模块还配置为：

利用所述训练任务中的劫持函数获取所述训练任务所需的显存类型和大小并发送到GPU的管理器。

8.如权利要求7所述的系统，其特征在于，获取模块还配置为：

为每一个GPU的显存设置持久区域和临时区域；

统计每一个GPU中持久区域和临时区域的使用情况；

根据每一个GPU中持久区域和临时区域的使用情况为所述训练任务分配所述持久显存和/或临时显存。

9.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-4任意一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-4任意一项所述的方法的步骤。