[发明专利]一种任务并行处理的实现方法、装置、设备和介质

说明书

本申请实施例公开了一种任务并行处理的实现方法、装置、设备和介质，涉及深度学习技术领域。该方法包括：确定目标任务的至少一个并行计算图；根据所述并行计算图的算子任务在集群中的硬件执行代价，筛选确定并行计算图以及算子调度方案，其中，所述集群包括多个节点，用于执行所述算子任务；所述并行计算图具有至少一种算子调度方案；根据确定的并行计算图和算子调度方案，将所述并行计算图中的算子任务在所述集群中调度执行。本申请实施例的技术方案，在为目标任务确定并行计算图以及算子调度方案时，引入考虑了算子任务在集群中的硬件执行代价，作为筛选依据，能够更好使目标任务的执行适配于不同环境情况的集群，达到最优的并行效率。

技术领域

本申请实施例涉及计算机技术，具体涉及人工智能技术和并行处理技术。

背景技术

随着人工智能技术的发展，其中深度学习技术被越来越多的使用。深度学习技术，典型的包括深度学习模型的训练过程，以及训练后深度学习模型的应用过程。

目前，随着深度学习模型训练过程和应用过程的计算量增加，为了缩短时间，已经逐步采用了并行处理的方式。即，将深度学习模型的训练或应用任务，分配至由多节点构成的集群中，进行并行处理。例如采用GPU多机多卡进行并行训练。

现有技术中，如何能够提高深度学习模型计算过程并行处理的效率，是当前的研究热点方向之一。

发明内容

本申请实施例提供了一种任务并行处理的实现方法、装置、设备和介质，从而能够提高任务在集群中的并行处理效率。

第一方面，本申请实施例提供了一种任务并行处理的实现方法，包括：

确定目标任务的至少一个并行计算图，其中，所述并行计算图中包括多个算子任务；

根据所述并行计算图的算子任务在集群中的硬件执行代价，筛选确定并行计算图以及算子调度方案，其中，所述集群包括多个节点，用于执行所述算子任务；所述并行计算图具有至少一种算子调度方案；

根据确定的并行计算图和算子调度方案，将所述并行计算图中的算子任务在所述集群中调度执行。

本申请实施例的技术方案，在为目标任务确定并行计算图以及算子调度方案时，引入考虑了算子任务在集群中的硬件执行代价，作为筛选依据，能够更好使目标任务的执行适配于不同环境情况的集群，达到最优的并行效率。

可选的，根据所述并行计算图的算子任务在集群中的硬件执行代价，筛选确定并行计算图以及算子调度方案包括：

获取所述算子任务在集群中被节点执行的硬件执行代价；

根据各所述算子任务的硬件执行代价，计算所述并行计算图采用所述算子调度方案在所述集群中执行的总执行代价；

根据所述总执行代价，筛选确定并行计算图以及算子调度方案。

上述申请中的一个可选实施方式，通过获取单个算子任务的硬件执行代价来计算确定总执行代价，能够精确获得并行计算图以及算子调度方案在集群中的总执行代价，使得筛选效果更佳准确。

可选的，获取所述算子任务在集群中被节点执行的硬件执行代价包括：

将所述并行计算图的算子任务，调度至所述集群中执行设定规模的处理；

采集所述算子任务被节点执行的硬件执行代价。

可选的，根据各所述算子任务的硬件执行代价，计算所述并行计算图采用所述算子调度方案在所述集群中执行的总执行代价包括：

按照所述算子调度方案中的调度顺序，以及各算子任务在所述并行计算图中的并发关系，统计各所述算子任务的硬件执行代价，计算所述总执行代价。