[发明专利]基于Kubernetes的算力调度方法和装置

权利要求书

1.一种基于Kubernetes的算力调度方法，包括：

预先获取Kubernetes集群中所有机器节点的基于加速卡类型和数量的算力全局数据；

对机器学习本次训练任务需要的计算资源进行解析，分解出目标加速卡类型和与数量；

根据所述算力全局数据和所述目标加速卡类型及数量，按照预设策略筛选出对应的机器节点集合，并根据该机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源；

在所述本次训练任务所使用的机器节点上，通过创建Service、选择容器镜像、设置容器名称和环境变量来完成节点间互信互联网络的建立；

运行所述本次训练任务所使用的机器节点，学习训练程序完成训练。

2.根据权利要求1所述的方法，其特征在于，根据所述算力全局数据和所述目标加速卡类型及数量，按照预设策略筛选出对应的机器节点集合，并根据该机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源，包括：

根据所述算力全局数据，在所述Kubernetes集群中筛选出与所述目标加速卡类型及数量匹配的初选机器节点集合，再按照预设的优选策略从中筛选出优选机器节点集合，根据所述优选机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源。

3.根据权利要求2所述的方法，其特征在于，按照预设的优选策略从中筛选出优选机器节点集合，包括：

按照如下优选策略从所述初选机器节点集合中筛选出优选机器节点集合：

其中，所述G_i为所述Kubernetes集群中的第i个节点的资源使用率，在所述初选机器节点集合中，将所有资源使用率达到0.5*j的机器节点筛选出作为优选机器节点集合。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述本次训练任务完成后，解除已锁定的所述本次训练任务所使用机器节点的计算资源，以供其他任务再次使用。

5.根据权利要求1-4中任一项所述的方法，其特征在于，预先获取Kubernetes集群中所有机器节点的基于加速卡类型和数量的算力全局数据，包括：

在Kubernetes集群中，预先对所有机器节点的加速卡类型和数量进行注册与管理，得到基于加速卡类型和数量的算力全局数据。

6.一种基于Kubernetes的算力调度装置，包括：

初始模块，其配置成预先获取Kubernetes集群中所有机器节点的基于加速卡类型和数量的算力全局数据；

解析模块，其配置成对机器学习本次训练任务需要的计算资源进行解析，分解出目标加速卡类型和与数量；

筛选模块，其配置成根据所述算力全局数据和所述目标加速卡类型及数量，按照预设策略筛选出对应的机器节点集合，并根据该机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源；

建立模块，其配置成在所述本次训练任务所使用的机器节点上，通过创建Service、选择容器镜像、设置容器名称和环境变量来完成节点间互信互联网络的建立；

训练模块，其配置成运行所述本次训练任务所使用的机器节点，学习训练程序完成训练。

7.根据权利要求6所述的装置，其特征在于，所述筛选模块具体配置成：

根据所述算力全局数据，在所述Kubernetes集群中筛选出与所述目标加速卡类型及数量匹配的初选机器节点集合，再按照预设的优选策略从中筛选出优选机器节点集合，根据所述优选机器节点集合，锁定所述本次训练任务所使用机器节点的计算资源。

8.根据权利要求7所述的装置，其特征在于，所述筛选模块具体配置成：

按照如下优选策略从所述初选机器节点集合中筛选出优选机器节点集合：

其中，所述G_i为所述Kubernetes集群中的第i个节点的资源使用率，在所述初选机器节点集合中，将所有资源使用率达到0.5*j的机器节点筛选出作为优选机器节点集合。