[发明专利]一种基于Docker的集群管理方法及装置

说明书

本发明公开了一种基于Docker的集群管理方法及装置，所述方法包括：接收任务请求，所述任务请求包括Docker镜像索引；根据所述任务请求调度计算节点；根据所述Docker镜像索引，拉取对应的Docker镜像到所调度的计算节点上；将Docker镜像中包括的基础组件部署到所调度的计算节点上；触发所调度的计算节点执行所述任务请求。应用本发明所述方案，用户只需要提供Docker镜像索引，就可以使得被调度的计算节点能够从统一的镜像仓库中拉取Docker镜像以获取执行任务所需要的基础组件，而无需针对计算节点拷贝、安装基础组件的相关软件，也无需在每个计算节点创建虚拟机，因此相比较现有技术可以便捷地将诸如深度学习框架等基础组件部署到集群中每一个计算节点。

【技术领域】

本发明涉及计算机应用技术，特别涉及一种基于Docker的集群管理方法及装置。

【背景技术】

随着大数据及深度学习技术的发展，通过深度学习的方法对海量数据进行训练学习，最终学习出一套准确的认知模型。更加复杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息，并对未来或未知事件做更精准的预测。深度学习的应用包括语音识别、图像识别、自然语言处理、搜索广告CTR预估等。目前以Google、Facebook、微软、百度为代表的科技公司争相投入资源，占领技术的制高点。

但是，深度学习对使用者的数学能力和计算机能力都有较高的要求，初学者往往很难独自将算法转换成真实可用的计算机程序，因此大量优秀的深度学习框架不断涌现，帮助初学者可以快速使用这一强大的技术。

由于每一种框架都有自己的优势与劣势，当前各种框架都在被广泛使用，但由于每一种框架几乎都需要配置复杂的运行环境，加之框架往往运行在集群环境中，而集群中每个机器的运行环境很难做到统一，所以如何便捷地在集群中支持深度学习框架的使用已经成为一个降低深度学习门槛的一个重要问题。当前，该问题的解决方案主要是有以下几种：

方案一、将运行环境打包成一个执行包，程序执行不依赖除了执行包以外的任何东西，然后将这个执行包拷贝到集群中每一个计算节点上执行；

方案二、为集群上每一个节点统一安装运行环境需要的软件；

方案三、创建虚拟机，并在虚拟机中安装运行环境需要的软件，然后将虚拟机在集群中每一个计算节点启动并执行程序。

上述方案存在以下几个方面的问题：

方案一需要用户提前做大量去除全局环境依赖的工作，并制作一个任务运行的最小执行环境；

方案二对集群上物理机的要求很高，如果集群需要同时支持多种深度学习框架，那么集群上物理机就需要安装多个软件，还需要规避安装软件的冲突；

方案三对用户安装和集群部署的要求最低，但在虚拟机中启动任务十分缓慢，同时性能也会受损。

【发明内容】

本申请的多个方面提供了一种基于Docker的集群管理方法及装置，能够便捷地将诸如深度学习框架等基础组件部署到集群中的每一个计算节点。

本申请的一方面，提供一种基于Docker的集群管理方法，其特征在于，包括：

接收任务请求，所述任务请求包括Docker镜像索引；

根据所述任务请求调度计算节点；

根据所述Docker镜像索引，从镜像仓库拉取对应的Docker镜像到所调度的计算节点上；将Docker镜像中包括的基础组件部署到所调度的计算节点上；

触发所调度的计算节点利用所述基础组件执行所述任务请求。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述请求还包括：任务的配置信息、任务的数据信息。