[发明专利]一种创建用于深度学习作业的容器的方法和装置

说明书

本发明公开了一种创建用于深度学习作业的容器的方法和装置。该方法包括：采用镜像仓库接收并且存储由用户制作的需要训练的Docker镜像，其中，在需要训练的Docker镜像中安装了训练所需的深度学习框架驱动程序、训练所需要的框架依赖，并且配置安全外壳协议SSHD服务；当接收到用户对于运行深度学习作业所需要的资源的选择以及用于训练深度学习作业的Docker镜像的选择的时候，根据集群中的计算节点的空闲资源情况，调度深度学习作业；当将深度学习作业调度到计算节点的时候，从镜像仓库推送由用户选择的Docker镜像，并且采用所推送的Docker镜像在集群中的各个计算节点上创建Docker容器。通过上述方式，可以方便地创建所需要的Docker容器，减少创建Docker容器所花费的时间和精力。

技术领域

本发明涉及人工智能深度学习技术领域，尤指一种创建用于深度学习作业的容器的方法和装置。

背景技术

人工智能是计算机科学的一个分支，企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。现阶段人工智能主要是以深度学习框架来实现的。现在主流的深度学习框架包括:caffe、tensorflow、mxnet、darknet,不同框架依赖需要使用的容器是不同的，为此，用户需要大量繁琐的配置才能创建一个深度学习作业可用的容器。

发明内容

为了解决上述技术问题，本发明提供了一种创建用于深度学习作业的容器的方法和装置，其可以方便地创建所需要的Docker容器。

为了实现上述目的，一方面，本发明的实施例提供了一种创建用于深度学习作业的容器的方法，该方法包括：

采用镜像仓库接收并且存储由用户制作的需要训练的Docker镜像，其中，在需要训练的Docker镜像中安装了训练所需的深度学习框架驱动程序、训练所需要的框架依赖，并且配置安全外壳协议SSHD服务；

当接收到用户对于运行深度学习作业所需要的资源的选择以及用于训练深度学习作业的Docker镜像的选择的时候，根据集群中的计算节点的空闲资源情况，调度深度学习作业；

当将深度学习作业调度到计算节点的时候，从镜像仓库推送由用户选择的Docker镜像，并且采用所推送的Docker镜像在集群中的各个计算节点上创建Docker容器。

进一步地，在一个可选的实施例中，在采用所推送的Docker镜像在集群中的各个计算节点上创建Docker容器的步骤之后，该方法还包括：

将根据深度学习作业而分配的计算节点的硬件资源映射到Docker镜像，并且采用映射到Docker镜像的硬件资源和Docker容器来运行深度学习作业。

进一步地，在一个可选的实施例中，在采用镜像仓库接收并且存储由用户制作的需要训练的Docker镜像的步骤之后，该方法还包括：

如果获知深度学习框架驱动程序受到调整，则将采用经调整的深度学习框架驱动程序创建的Docker镜像存储在镜像仓库中。

进一步地，在一个可选的实施例中，所需要的资源包括：

用于深度学习作业训练的CPU资源、GPU资源、框架类型、队列信息。

进一步地，在一个可选的实施例中，集群中的计算节点和管理节点采用网络文件系统NFS的方式来共享所存储的文件；

在采用映射到Docker镜像的硬件资源和Docker容器来运行深度学习作业的步骤之后，该方法还包括：