[发明专利]一种机器学习平台中任务节点间的数据传递的处理方法

说明书

本发明实施例公开了一种机器学习平台中任务节点间的数据传递的处理方法，设置一任务调度系统，所述任务调度系统：拉取任务队列中的任务，解析所述任务的任务规则；根据所述任务规则生成调度流水线；根据所述调度流水线发送调起指令；根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据；所述可执行的任务节点接受到所述数据后执行处理，并将所述处理后的产生的数据返还至所述任务调度系统中，此时，所述可执行的任务节点执行完成；接受所述可执行的任务节点执行完成的反馈，重复调起其他未完成的任务节点，直至所述调度流水线中的所有任务节点全部执行完毕；将所述任务结果放入至结果队列中。

技术领域

本发明实施例涉及数据传递处理技术领域，具体涉及一种机器学习平台中任务节点间的数据传递的处理方法。

背景技术

随着人工智能的逐渐为人所知，机器学习也日渐成熟。机器学习平台的建设产品也是层出不穷，针对不同领域的，普适化的均存在其相应的市场。机器学习平台中，将训练任务根据流水线进行任务拆解，进行分布式训练是无可避免的事情。现有机器学习平台中，对训练任务的节点间数据传递，多采用单一化的方法，或者节点将数据拉取过来，或者将节点放入数据处进行工作。而在分布式训练中，同一任务不同的节点间进行数据传递，将成为一个必须要处理的问题。

发明内容

为此，本发明实施例提供一种机器学习平台中任务节点间的数据传递的处理方法，以解决现有技术中数据节点间传递的不确定性以及节点间数据传递的不灵活的问题。

为了实现上述目的，本发明实施例提供如下技术方案：一种机器学习平台中任务节点间的数据传递的处理方法，包括以下步骤：

设置一任务调度系统，所述任务调度系统：

拉取任务队列中的任务，解析所述任务的任务规则；

根据所述任务规则生成调度流水线；

根据所述调度流水线发送调起指令；

根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据；

所述可执行的任务节点接受到所述数据后执行处理，并将所述处理后的产生的数据返还至所述任务调度系统中，此时，所述可执行的任务节点执行完成；

接受所述可执行的任务节点执行完成的反馈，重复调起其他未完成的任务节点，直至所述调度流水线中的所有任务节点全部执行完毕；

将所述任务结果放入至结果队列中。

进一步地，根据所述任务规则生成调度流水线，具体包括：

确定所有任务节点产生数据的第二储存位置。

进一步地，根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：

发送调起指令，调起可执行的任务节点，发送所述可执行的任务节点所需第一处理数据的第一储存位置数据以及所述可执行的任务节点产生第二处理数据的第二储存位置数据；

所述可执行的任务节点接收到调起指令后，从所述第一储存位置拉取第一处理数据进行处理，并将处理后产生的第二处理数据储存到所述第二储存位置。

进一步地，所述根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：

发送调起指令，调起可执行的任务节点，从第一储存位置获取第一处理数据发送至所述可执行的任务节点；获取所述可执行的任务节点产生第二处理数据的第二储存位置数据，将所述第二储存位置数据返还至所述任务调度系统中。

进一步地，所述根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：

一次调起可并发执行的多个任务节点。