[发明专利]一种GPU资源调度方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种GPU资源调度方法、装置、电子设备及存储介质，方法包括：获取待处理任务；根据所述待处理任务对应的目标处理算法、以及资源池中计算资源的空闲情况，从所述资源池中为所述待处理任务分配目标计算资源；计算资源包括实体GPU和虚拟化GPU，所述虚拟化GPU包括物理层虚拟化GPU和应用层虚拟化GPU。电子设备可以从资源池中为待处理任务分配目标计算资源，不必强依赖于底层GPU计算资源虚拟化，即便计算资源底层GPU不支持物理层虚拟化，也可以通过应用层的算法调度和底层虚拟化技术相结合，实现单GPU同时运行多个算法，大大降低了GPU资源调度的局限性，可以灵活地调度GPU资源。

技术领域

本发明涉及资源调度技术领域，特别是涉及一种GPU资源调度方法、装置、电子设备及存储介质。

背景技术

GPU(Graphics processing unit，图形处理器)是一种专门进行图像和图形相关运算工作的微处理器。安防系统常常需要对大量的图像、视频等信息进行分析处理，所以GPU在安防领域具有十分重要的应用。

在实际的图像处理应用场景中，通常使用多个GPU处理计算任务，并通过调度系统对GPU进行规划和管理，以充分利用GPU的算力。常用的调度系统通常以单个GPU作为最小的管理粒度。

由于当前的图像处理任务所需的智能算法种类较多、而GPU的数量较少，且经常需要进行碎片化分析。为了实现GPU算力的充分利用，可以通过使用底层虚拟化技术，将一个实体GPU虚拟化为多个GPU资源，这样可以使得一个GPU能够同时运行多个智能算法。但是，上述方案强依赖于底层GPU计算资源虚拟化，从而导致GPU资源在调度时局限性强，不够灵活。

发明内容

本发明实施例的目的在于提供一种GPU资源调度方法、装置、电子设备及存储介质，以实现不必强依赖于底层GPU计算资源虚拟化，灵活地调度GPU资源。具体技术方案如下：

第一方面，本发明实施例提供了一种GPU资源调度方法，所述方法包括：

获取待处理任务；

根据所述待处理任务对应的目标处理算法、以及资源池中计算资源的空闲情况，从所述资源池中为所述待处理任务分配目标计算资源；其中，所述计算资源包括实体GPU和虚拟化GPU，所述虚拟化GPU包括物理层虚拟化GPU和应用层虚拟化GPU。

可选的，在所述获取待处理任务的步骤之前，所述方法还包括：

对所述资源池中的GPU进行虚拟化处理，得到所述计算资源，其中，所述资源池中包括预设的参与资源调度的多个GPU；所述虚拟化GPU在所述资源池计算资源中的占比满足第一比例；和/或，所述资源池中的目标计算节点的虚拟化GPU在所述目标计算节点的计算资源中的占比满足第二比例。

可选的，所述根据所述待处理任务对应的目标处理算法、以及资源池中计算资源的空闲情况，从所述计算资源中为所述待处理任务分配目标计算资源的步骤，包括：

判断所述目标处理算法是否可被虚拟化GPU运行；

若所述目标处理算法可被虚拟化GPU运行，则判断所述资源池中是否存在满足调度要求的空闲虚拟化GPU；

从所述满足调度要求的空闲虚拟化GPU中确定目标虚拟化GPU，其中，所述目标虚拟化GPU包括第一空闲物理层虚拟化GPU或第一空闲应用层虚拟化GPU；

将所述待处理任务下发至所述目标虚拟化GPU。

可选的，所述判断所述目标处理算法是否可被虚拟化GPU运行的步骤，包括：

判断所述虚拟化GPU预先配置的虚拟化技术对应的处理算法中，是否包括所述目标处理算法；

如果包括，确定所述目标处理算法可被虚拟化GPU运行。