[发明专利]基于Kubernetes的算力调度方法和装置

说明书

本申请公开了一种基于Kubernetes的算力调度方法和装置，涉及人工智能领域。该方法包括：对机器学习本次训练任务需要的计算资源进行解析，分解出目标加速卡类型和与数量，结合Kubernetes集群中所有机器节点的算力全局数据，按照预设策略筛选出对应的机器节点集合，据此锁定本次训练任务所使用机器节点的计算资源，在本次训练任务所使用的机器节点上建立节点间的互信互联网络，运行本次训练任务所使用的机器节点，学习训练程序完成训练。该装置包括：初始模块、解析模块、筛选模块、建立模块和训练模块。本申请实现了资源的智能化分配，无需人工调整，极大地提高了效率。

技术领域

本申请涉及人工智能领域，特别是涉及一种基于Kubernetes的算力调度方法和装置。

背景技术

近几年，随着深度神经网络在人工智能领域取得的巨大成功，业界涌现了许多开源的机器学习平台。而如何实现分布式任务调度，提高资源利用率成为深度神经网络分布式的云部署、边缘设备部署以及端设备部署的主要研究内容。

深度学习对于算力的要求越来越高，包括参数规模的陡增，迭代的时间变的更长，从之前的小时级别，变成天级别，甚至月级别。像视频业务拥有更多的参数和更为复杂的模型，面对TB级别的训练数据，单机场景下往往需要很久的训练样本时间。因此，如何提供硬件资源合理分配和高效的调动管理成为分布式部署的突破点。

Kubernetes是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，它消除了容器化应用程序在部署、伸缩时涉及到的许多手动操作。Kubernetes编排让你能够构建多容器的应用服务，在集群上调度或伸缩这些容器，以及管理它们随时间变化的健康状态。Kubernetes通过标签与标签选择器进行筛选资源。标签是附加到对象上的键值对，旨在用于指定对用户有意义且相关的对象的标识属性。

因此，为了满足日益增长的计算能力需求，就必须以多台机器组成机器集群来提供服务。尽管Kubernetes的调度策略能够满足上述需求，但其标签与选择器的资源筛选机制，只是简单的匹配资源，需要人工手动指定机器节点和使用加速卡的属性，无法对资源进行智能分配。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于Kubernetes的算力调度方法，包括：

预先获取Kubernetes集群中所有机器节点的基于加速卡类型和数量的算力全局数据；

对机器学习本次训练任务需要的计算资源进行解析，分解出目标加速卡类型和与数量；

根据所述算力全局数据和所述目标加速卡类型及数量，按照预设策略筛选出对应的机器节点集合，并根据该机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源；

在所述本次训练任务所使用的机器节点上，通过创建Service、选择容器镜像、设置容器名称和环境变量来完成节点间互信互联网络的建立；

运行所述本次训练任务所使用的机器节点，学习训练程序完成训练。

可选地，根据所述算力全局数据和所述目标加速卡类型及数量，按照预设策略筛选出对应的机器节点集合，并根据该机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源，包括：

根据所述算力全局数据，在所述Kubernetes集群中筛选出与所述目标加速卡类型及数量匹配的初选机器节点集合，再按照预设的优选策略从中筛选出优选机器节点集合，根据所述优选机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源。

可选地，按照预设的优选策略从中筛选出优选机器节点集合，包括：

按照如下优选策略从所述初选机器节点集合中筛选出优选机器节点集合：