[发明专利]一种面向共享式GPU集群下的容器调度方法及装置

说明书

本发明公开了一种面向共享式GPU集群下的容器调度方法及装置，获取Pod创建请求，根据Pod创建请求中Pod创建信息对Pod进行校验获得Pod标记，并根据Pod创建信息获取Pod总的所需资源信息；根据Pod创建信息中Pod业务优先级标签和Pod总的所需资源信息对Pod进行排序，获得调度队列队头的待调度Pod；根据待调度Pod的Pod创建信息中Pod所需的CPU标签、内存标签与GPU标签，Pod标记和集群节点状态信息，对节点进行过滤，获得Pod可调度节点；根据Pod可调度节点的数量和待调度Pod的Pod标记，计算Pod对应可调度节点的得分，根据得分待调度Pod匹配最优的Pod可调度节点。本发明提高任务处理效率及节点内资源的利用率。既考虑负载均衡，又提高资源利用率，且避免出现CPU、内存消耗不均衡。

技术领域

本发明涉及一种面向共享式GPU集群下的容器调度方法及装置，属于集群调度技术领域。

背景技术

分布式计算集群Kubernetes（以下简称为k8s）下层节点主要由GPU(图像运算工作的微处理器，同CPU是重要的计算引擎)服务器构成，结合CPU、存储等为深度学习等任务提供计算资源。由于人工智能与工程计算平台在各行各业应用更加广泛，其对GPU计算资源也在逐渐增加。

分布式集群的容器调度需要基于当前业务指标需要及资源池状态分配调度容器，传统的K8s集群依靠GPU数量而非颗粒度的使用GPU实现共享，导致分布式集群调度针对复杂多样的计算场景及资源需求适配性能差；相关技术中，基于调度容器的需求选择最适配的节点进行容器调度,对调度队列及GPU资源打分处理不够合理，导致整个分布式集群任务分配效率降低与GPU资源利用率低问题，影响集群性能。

为解决多样化的计算业务中调度不合理、GPU资源利用率低的问题，本发明提出一种面向共享式GPU集群下的容器调度方法。

发明内容

目的：为了克服现有技术中存在的多样化的计算业务中调度不合理、GPU资源利用率低的问题，本发明提供一种面向共享式GPU集群下的容器调度方法及装置。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

第一方面，一种面向共享式GPU集群下的容器调度方法，包括如下步骤：

获取Pod创建请求，根据Pod创建请求中Pod创建信息对Pod进行校验获得Pod标记，并根据Pod创建信息获取Pod总的所需资源信息。

根据Pod创建信息中Pod业务优先级标签和Pod总的所需资源信息对Pod进行排序，获得调度队列队头的待调度Pod。

根据待调度Pod的Pod创建信息中Pod所需的CPU标签、内存标签与GPU标签，Pod标记和集群节点状态信息，对节点进行过滤，获得Pod可调度节点。

根据Pod可调度节点的数量和待调度Pod的Pod标记，计算Pod对应可调度节点的得分，根据得分待调度Pod匹配最优的Pod可调度节点。

第二方面，一种面向共享式GPU集群下的容器调度装置，包括如下模块：

Pod标记及资源信息获取模块，用于获取Pod创建请求，根据Pod创建请求中Pod创建信息对Pod进行校验获得Pod标记，并根据Pod创建信息获取Pod总的所需资源信息。

Pod排序模块，用于根据Pod创建信息中Pod业务优先级标签和Pod总的所需资源信息对Pod进行排序，获得调度队列队头的待调度Pod。

Pod可调度节点获取模块，用于根据待调度Pod的Pod创建信息中Pod所需的CPU标签、内存标签与GPU标签，Pod标记和集群节点状态信息，对节点进行过滤，获得Pod可调度节点。

最佳节点获取模块，用于根据Pod可调度节点的数量和待调度Pod的Pod标记，计算Pod对应可调度节点的得分，根据得分待调度Pod匹配最优的Pod可调度节点。