[发明专利]一种任务的调度方法、装置、设备及存储介质

说明书

本申请提供了一种任务的调度方法、装置、设备及存储介质，该调度方法包括：负载服务器接收任务发起终端发送的针对目标任务的数据接收请求；负载服务器根据预先存储的任务处理映射表，从多个任务执行终端中，确定针对目标任务的目标任务执行终端；负载服务器向每一目标任务执行终端发送针对该目标任务执行终端的数据传输请求，并接收该目标任务执行终端发送的目标数据处理结果；负载服务器将接收到的每一目标数据处理结果作为针对目标任务的任务执行结果，并将任务执行结果发送给任务发起终端。这样，本申请解决了任务发起终端与多个任务执行终端之间的通信端口对接问题，降低了任务发起终端对于通信端口的管理难度，有利于提高任务调度的效率。

技术领域

本申请涉及机器学习技术领域，具体而言，涉及一种任务的调度方法、装置、设备及存储介质。

背景技术

随着人工智能技术的不断发展，在解决目标技术需求时，越来越多的技术人员选择通过机器学习的方式，利用与目标技术需求相关的训练数据来对人工智能模型进行训练，从而，利用训练好的人工智能模型来解决目标技术需求。具体的，在实际的建模过程中，基于数据的保密性特点，企业或部门并不会将自己独有的训练数据放置于公众可以自由获取的开源平台中，从而，导致模型训练需要用到的训练数据大多以数据孤岛的形式分布于不同的企业或部门中。因此，在实际建模过程中，如何有效地实现训练数据的共享，成为当前机器学习技术领域所迫切需要解决的技术问题。

目前的方法，技术人员通常采用联邦学习的方式，为当前的建模任务分配一个对外通信端口，并根据该建模任务下需要用到的每一个训练数据，确定该训练数据所在的企业或部门的通信端口地址，然后，按照传统的生产者消费者模式进行数据通信。具体的，在传统的生产者消费者模式中，上述的对外通信端口相当于生产者，每一个训练数据所在的企业或部门相当于消费者，生产者根据每一个待交互的训练数据以及该训练数据所在的企业或部门的通信端口地址，生成一个数据通信任务，然后，将生成的所有数据通信任务存放至缓存区中，等待每一个消费者从所述缓存区中提取与之对应的数据通信任务。这样，一方面，生产者需要同时与多个消费者的通信端口进行对接，由于不同消费者对于通信端口的安全管控措施不同，因此，导致生产者对于上述对外通信端口的管理较为困难；另一方面，同一消费者可能需要在上述缓存区中提取多个数据通信任务，此时，提取的多个数据通信任务位于该消费者的同一个任务提取队列下，若其中一个数据通信任务出现错误，则可能造成该消费者的整个任务提取队列出现异常，导致任务调度的效率降低。

发明内容

有鉴于此，本申请的目的在于提供一种任务的调度方法、装置、设备及存储介质，以解决任务发起终端与多个任务执行终端之间的通信端口对接问题，降低任务发起终端对于通信端口的管理难度，有利于提高任务调度的效率。

第一方面，本申请实施例提供了一种任务的调度方法，所述调度方法应用于任务调度系统，所述任务调度系统包括：任务发起终端、负载服务器以及多个任务执行终端；所述调度方法包括：

所述负载服务器接收所述任务发起终端发送的针对目标任务的数据接收请求；其中，所述目标任务用于表征利用多种不同类型的目标训练数据构建目标模型的建模任务；所述数据接收请求中至少包括：所述目标任务的任务标识以及每一所述目标训练数据的数据标识；

所述负载服务器根据预先存储的任务处理映射表，从所述多个任务执行终端中，确定针对所述目标任务的目标任务执行终端；其中，所述任务处理映射表中至少包括：多个不同任务的任务标识、每一所述任务对应的多个训练数据的数据标识以及每一所述训练数据对应的通信端口地址；不同的目标任务执行终端上存储的所述目标训练数据不同；

所述负载服务器向每一所述目标任务执行终端发送针对该目标任务执行终端的数据传输请求，并接收该目标任务执行终端发送的目标数据处理结果；其中，所述目标数据处理结果用于表征该目标任务执行终端对应的所述目标训练数据在所述目标任务下对应的数据处理结果；

所述负载服务器将接收到的每一所述目标数据处理结果作为针对所述目标任务的任务执行结果，并将所述任务执行结果发送给所述任务发起终端。