[发明专利]一种GPU资源分配方法、系统、设备以及介质

说明书

本发明公开了一种GPU资源分配方法，包括以下步骤：响应于接收到训练任务，获取所述训练任务中携带的显存类型和大小，其中显存类型包括持久显存和临时显存；根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存；响应于检测到所述训练任务当前迭代结束，清理所述临时显存，当所述训练任务开始下一次迭代训练时，重新分配临时显存并继续使用初始分配的持久显存；响应于所述训练任务最后一次迭代训练结束，同时清理所述临时显存和所述持久显存。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案保障了GPU整体的利用率维持在较高水平，从而实现提升训练性能和提高数据中心资源利用率的目的。

技术领域

本发明涉及GPU领域，具体涉及一种GPU资源分配方法、系统、设备以及存储介质。

背景技术

随着计算力大幅提高，人工智能业务的广泛落地，数据中心中出现不同种类的高性能设备来满足人工智能业务的不同计算需求，如通用GPU(Graphics Processing Unit，图形处理器)来满足训练要求，本专利目的是针对共享GPU技术的显存使用，尤其是任务时间片轮转(时分)方式，设计一种训练用持久显存和临时显存的使用和管理方法。该策略对主流训练框架在训练时模型对GPU显存使用和分配进行获取和分析，然后在显存分配时设置持久显存和临时使用显存，在多个共享GPU任务训练时只有临时显存进行换入换出操作，这样可以减少GPU时分共享时因显存频繁操作而产生的性能损失。该策略可以通过软件方法实现对模型显存使用情况的分析和管理，并且便于实现和应用，从而实现GPU的利用率提高和数据中心计算资源利用率提高等目标。

深度学习任务对GPU资源需求根据不同模型是多样的，针对显存各个不同的训练框架对底层GPU显存使用也是有不同的策略，在GPU时分共享场景下，训练过程中显存的频繁切换操作会对实际训练任务产生多余开销，造成整体性能下降。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种GPU资源分配方法，包括以下步骤：

响应于接收到训练任务，获取所述训练任务中携带的显存类型和大小，其中显存类型包括持久显存和临时显存；

根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存；

响应于检测到所述训练任务当前迭代结束，清理所述临时显存，当所述训练任务开始下一次迭代训练时，重新分配临时显存并继续使用初始分配的持久显存；

响应于所述训练任务最后一次迭代训练结束，同时清理所述临时显存和所述持久显存。

在一些实施例中，根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存，进一步包括：

响应于当前GPU为共享GPU，获取当前CPU中已分配的持久显存的地址；

在已分配的持久显存的地址基础上偏移预设大小后为所述训练任务分配所述持久显存。

在一些实施例中，响应于接收到训练任务，获取所述训练任务中携带的显存类型和大小，其中显存类型包括持久显存和临时显存，进一步包括：

利用所述训练任务中的劫持函数获取所述训练任务所需的显存类型和大小并发送到GPU的管理器。

在一些实施例中，根据所述显存类型和大小为所述训练任务分配对应大小的持久显存和/或临时显存，进一步包括：

为每一个GPU的显存设置持久区域和临时区域；

统计每一个GPU中持久区域和临时区域的使用情况；

根据每一个GPU中持久区域和临时区域的使用情况为所述训练任务分配所述持久显存和/或临时显存。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种GPU资源分配系统，包括：