[发明专利]用于深度学习框架的资源调度方法和装置

说明书

本申请公开了一种用于深度学习框架的资源调度方法和装置。方法包括：间隔预定时间，从Kubernetes平台查询所有的深度学习作业对象的状态；响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象，向Kubernetes平台提交资源请求，以调度Kubernetes平台所处的物理机启动深度学习训练任务。该方法能够完全自动化处理深度学习训练任务的资源分配与释放。

技术领域

本申请涉及计算机技术领域，具体涉及计算机网络技术领域，尤其涉及用于深度学习框架的资源调度方法和装置。

背景技术

在深度学习领域，算法模型的训练任务一般基于深度学习框架实现，目前流行的深度学习框架有张量流人工智能学习系统(Tensorflow)，并行分布式深度学习开源平台(PaddlePaddle)，用于快速特征嵌入的卷积结构(Caffe)等等。

众多的深度学习框架各有特点，开发人员在面对具体场景时选择实现模型的框架也因此不同。但不管基于哪一种框架来训练模型，运行训练任务的过程都离不开资源管理和任务调度，也即是统一管理服务器集群的CPU、内存、GPU等计算资源，根据训练任务的资源需求分配资源容器；同时，随着训练任务的运行和终止，对占用的计算资源进行实时的分配和回收。

目前，可以采用Kubernetes平台实现对多深度学习框架的支持。在Kubernetes平台，开发者运行一个模型训练任务，需要开发者介入Kubernetes平台的资源管理工作，从平台申请到预期的计算资源容器，再申请不同的网络策略来配合训练任务的运行。

发明内容

本申请实施例提出一种用于深度学习框架的资源调度方法和装置。

第一方面，本申请实施例提供了一种用于深度学习框架的资源调度方法，包括：间隔预定时间，从Kubernetes平台查询所有的深度学习作业对象的状态；响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象，向Kubernetes平台提交资源请求，以调度Kubernetes平台所处的物理机启动深度学习训练任务。

在一些实施例中，深度学习作业对象包括：节点组父属性；设于节点组父属性下的镜像子属性；以及设于节点组父属性下的资源配置子属性。

在一些实施例中，响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象，向Kubernetes平台提交资源请求包括：响应于从各个深度学习作业对象中查询到状态符合新创建状态的深度学习作业对象，提取状态符合新创建状态的深度学习作业对象的资源配置子属性；基于提取的资源配置子属性，向Kubernetes平台的应用程序接口服务器服务发送资源请求，以申请容器资源和网络策略。

在一些实施例中，响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象，向Kubernetes平台提交资源请求包括：响应于从各个深度学习作业对象中查询到状态符合终止状态的深度学习作业对象，回收状态符合终止状态的深度学习作业对象的资源。

在一些实施例中，调度Kubernetes平台所处的物理机启动深度学习训练任务包括：经由Kubernetes平台的应用程序接口服务器服务接收资源请求，创建资源对象；经由Kubernetes平台的调度器服务异步监听所创建的资源对象，将所创建的资源对象分配至从节点；经由从节点运行资源对象对应的容器以完成深度学习训练任务。

第二方面，本申请实施例提供了一种用于深度学习框架的资源调度装置，包括：查询单元，用于间隔预定时间，从Kubernetes平台查询所有的深度学习作业对象的状态；调度单元，用于响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象，向Kubernetes平台提交资源请求，以调度Kubernetes平台所处的物理机启动深度学习训练任务。