[发明专利]任务处理方法、装置、服务器、客户端、系统和存储介质

说明书

本发明实施例公开了一种任务处理方法、装置、服务器、客户端、系统和存储介质，任务处理方法包括：接收客户端发送的任务提交请求，任务提交请求中包括任务的配置信息；生成包含配置信息的任务提交脚本；将任务提交脚本提交到计算集群，计算集群用于根据任务提交脚本中的配置信息运行任务。本发明实施例将任务提交分为客户端和服务器，用户仅需在客户端配置任务运行时的配置信息，无需用户深入学习计算集群的各种参数的含义，也无需用户编写任务提交脚本，一方面，降低了用户的学习成本和用户使用计算集群的门槛，另一方面，用户通过服务器与计算集群间接交互，实现了计算集群与用户端的安全隔离，为计算集群的安全性提供了保障。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种任务处理方法、服务器、客户端、系统和存储介质。

背景技术

随着信息推荐技术的发展，在线实时推荐逐渐成为了推荐领域研究的热点，实时推荐系统的关键在于大数据场景下模型的更新速度，而模型通常通过计算集群进行更新。

以部署有MPI(Message Passing Interface，信息传递应用程序接口)环境的MPI集群为示例，程序员开发程序后，需要将任务提交到MPI集群上运行，目前，MPI集群本身不具备资源调度功能，MPI集群通过Slurm(Simple Linux Utility for ResourceManagement)对MPI集群的资源进行管理和调度，Slurm是一个开源、容错、高可伸缩的集群管理和大型小型Linux集群作业调度系统，部署有Slurm的MPI集群称为Slurm集群。

MPI程序开发者向Slurm集群提交任务，需要MPI程序开发者学习一整套Slurm资源管理工具，深入学习Slurm的各种参数的含义，一方面，MPI程序开发者需要调用Slurm的API编写任务提交脚本，分散了MPI程序开发者的精力，提高了MPI程序的应用门槛；另一方面，每一位MPI程序开发者直接操作Slurm集群，增加了Slurm集群的安全风险。

发明内容

本发明实施例提供一种任务处理方法、装置、服务器、客户端、系统和存储介质，以解决现有Slurm集群存在使用门槛高和安全性低的问题。

第一方面，本发明实施例提供了一种任务处理方法，应用于服务器，所述服务器分别与客户端和计算集群连接，包括：

接收所述客户端发送的任务提交请求，所述任务提交请求中包括任务的配置信息；

生成包含所述配置信息的任务提交脚本；

将所述任务提交脚本提交到所述计算集群，所述计算集群用于根据所述任务提交脚本中的配置信息运行所述任务。

第二方面，本发明实施例提供了一种任务处理方法，应用于客户端，所述客户端与服务器连接，所述服务器与计算集群连接，包括：

获取任务的配置信息；

生成包含所述配置信息的任务提交请求；

将所述任务提交请求发送至所述服务器，所述服务器用于生成包含所述配置信息的任务提交脚本，以及将所述任务提交脚本提交到所述计算集群，所述计算集群用于根据所述任务提交脚本中的配置信息运行所述任务。

第三方面，本发明实施例提供了一种任务处理装置，应用于服务器，所述服务器分别与客户端和计算集群连接，包括：

任务提交请求接收模块，用于接收所述客户端发送的任务提交请求，所述任务提交请求中包括任务的配置信息；

提交脚本生成模块，用于生成包含所述配置信息的任务提交脚本；

任务提交模块，用于将所述任务提交脚本提交到所述计算集群，所述计算集群用于根据所述任务提交脚本中的配置信息运行所述任务。