[发明专利]基于容器的图形处理器虚拟化资源调度方法及其装置

说明书

本公开是关于一种基于容器的图形处理器虚拟化资源调度方法及其装置。其中，容器中的进程共享同一张图形处理器GPU卡的算力资源，每个进程在每个调度周期内被分配对应的GPU时间片，该方法可以包括：响应于在第一调度周期内的GPU时间片到来，确定与GPU时间片匹配的第一进程；确定第一进程是否有计算需求；响应于第一进程有计算需求，根据计算需求，从第一进程在调度周期内分配的GPU时间片和/或第一进程的突发缓冲区中，确定第一进程的执行时间片；其中，执行时间片用于辅助第一进程完成计算；突发缓冲区用于存储空闲的GPU时间片，空闲的GPU时间片是指第一进程未消耗的GPU时间片。本公开实施例可以解决基于分时复用GPU算力方案调度延时的问题。

技术领域

本公开涉及计算机技术领域，尤其涉及自动驾驶领域及自动驾驶资源分配领域等，特别涉及一种基于容器的图形处理器虚拟化资源调度方法、装置、电子设备及存储介质。

背景技术

目前，通过GPU(Graphics Processing Unit，图形处理器)虚拟化切片技术及相应的池化调度技术，可以让多进程充分利用GPU算力资源，同时隔离多进程间故障传播，从而节约算力成本，帮助企业降本增效。

特别是涉及自动驾驶领域，GPU算力资源调度极为重要。相关技术中，算力切片技术是通过多个进程分时复用GPU算力方式实现的。然而，在这种背景下，如果一张GPU卡上部署高密度的容器，每个容器都会消费相应的时间片，当同时使用GPU的容器过多时会导致较大的调度延时，限制了该类型算力调度技术在时延敏感型业务上的使用。

发明内容

为克服相关技术中存在的问题，本公开提供一种基于容器的图形处理器虚拟化资源调度方法及其装置。

根据本公开实施例的第一方面，提供一种基于容器的图形处理器虚拟化资源调度方法，所述容器中的进程共享同一张图形处理器GPU卡的算力资源，每个所述进程在每个调度周期内被分配对应的GPU时间片，所述方法包括：

响应于在第一调度周期内的GPU时间片到来，确定与所述GPU时间片匹配的第一进程；

确定所述第一进程是否有计算需求；

响应于所述第一进程有计算需求，根据所述计算需求，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片；其中，所述执行时间片用于辅助所述第一进程完成计算；所述突发缓冲区用于存储空闲的GPU时间片，所述空闲的GPU时间片是指所述第一进程未消耗的GPU时间片。

根据本公开实施例的第二方面，提供一种基于容器的图形处理器虚拟化资源调度装置，所述容器中的进程共享同一张图形处理器GPU卡的算力资源，每个所述进程在每个调度周期内被分配对应的GPU时间片，所述装置包括：

第一确定模块，用于在第一调度周期内的GPU时间片到来时，确定与所述GPU时间片匹配的第一进程；

第二确定模块，用于确定所述第一进程是否有计算需求；

第三确定模块，用于在所述第一进程有计算需求时，根据所述计算需求，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片；其中，所述执行时间片用于辅助所述第一进程完成计算；所述突发缓冲区用于存储空闲的GPU时间片，所述空闲的GPU时间片是指所述第一进程未消耗的GPU时间片。

根据本公开实施例的第三方面，提供一种计算机设备，包括：至少一个处理器；与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面所述的方法。