[发明专利]一种任务部署方法、装置、电子设备及存储介质

说明书

本公开关于一种任务部署方法、装置、电子设备及存储介质，该方法包括：在第一物理机上部署第一容器，其中，第一容器内用于运行参数服务器对应的第一任务进程；在第一物理机和第二物理机上分别部署第二容器，其中，第二容器用于运行工作服务器对应的第二任务进程或样本服务器对应的第三任务进程，第二物理机为与第一物理机不同的物理机。由此，本公开不再依赖整机固定比例分配角色、同时将多个任务进程部署于单台物理机上的方式进行任务部署，而是基于进程的不同计算密集特点、结合容器化部署方式实现任务部署，使资源之间形成了物理隔离，从而减少了资源竞争，提高了任务部署效率，实现了各角色的资源使用及副本数量的灵活调整。

技术领域

本公开涉及图像处理应用技术领域，尤其涉及一种任务部署方法、装置、电子设备及存储介质。

背景技术

随着深度学习技术的迅速发展，以深度学习训练任务为代表的多角色多副本计算任务，在集群中如何调度资源部署执行，已成为计算平台必须面对的问题。

特别地，针对部分TensorFlowc++训练任务，相关平台主要采用较为传统的整机固定比例分配角色、多进程绑核部署的方式进行任务部署，这样一来，势必导致计算资源使用不充分、环境未充分隔离导致绑核效果打折扣等问题。在计算资源紧张、业务吞吐压力大的现状下，我们提出一种基于容器化绑核的任务部署模式，任务调度更快捷，对环境的统一性强保证，同时显著提升集群整体算力。

因此，如何在计算资源紧张、业务吞吐压力大的现状下，确保任务调度更加快捷以及环境的统一性，同时显著提升集群整体算力已成为亟待解决的问题。

发明内容

本公开提供一种任务部署方法、装置、电子设备及存储介质，以至少解决相关技术中存在的计算资源使用不充分、环境未充分隔离导致绑核效果打折扣等问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种任务部署方法，包括：在第一物理机上部署第一容器，其中，所述第一容器内用于运行参数服务器对应的第一任务进程；在所述第一物理机和第二物理机上分别部署第二容器，其中，所述第二容器用于运行工作服务器对应的第二任务进程或样本服务器对应的第三任务进程，所述第二物理机为与所述第一物理机不同的物理机。

根据本公开的一个实施例，所述在所述第一物理机和第二物理机上分别部署第二容器，包括：根据预设的优先级顺序在所述第一物理机和所述第二物理机上分别部署所述第二容器，所述预设的优先级顺序为所述第一物理机的优先级高于所述第二物理机的优先级。

根据本公开的一个实施例，所述第一容器内运行单个所述第一任务进程，所述第二容器内运行单个所述第二任务进程或所述第三任务进程。

根据本公开的一个实施例，还包括：对所述第一容器和所属的所述第一物理机的中央处理器进行绑核；对所述第二容器和所属的所述第一物理机或所述第二物理机的中央处理器进行绑核。

根据本公开的一个实施例，所述对所述第一容器和所属的所述第一物理机的中央处理器进行绑核；对所述第二容器和所属的所述第一物理机或所述第二物理机的中央处理器进行绑核，包括：对所述第一容器和所属的所述第一物理机的中央处理器进行物理绑核；对所述第二容器和所属的所述第一物理机或所述第二物理机的中央处理器进行物理绑核。

根据本公开的一个实施例，所述在第一物理机上部署第一容器，包括：若在所述参数服务器上堆积的梯度更新任务的数量不超过堆积数量阈值，则在所述第一物理机上部署所述第一容器。

根据本公开的一个实施例，所述在所述第一物理机和第二物理机上分别部署第二容器，包括：若所述样本服务器缓存的待训练样本数据未被读空，则在所述第一物理机和所述第二物理机上分别部署所述第三任务进程对应的所述第二容器。