[发明专利]一种任务并行处理的实现方法、装置、设备和介质

权利要求书

1.一种任务并行处理的实现方法，其特征在于，包括：

确定目标任务的至少一个并行计算图，其中，所述并行计算图中包括多个算子任务；其中，所述算子任务为能够独立调度给集群中节点执行的任务；

获取所述算子任务在集群中被节点执行的硬件执行代价；

根据各所述算子任务的硬件执行代价，计算所述并行计算图采用所述算子调度方案在所述集群中执行的总执行代价；其中，所述集群包括多个节点，用于执行所述算子任务；

根据所述总执行代价，筛选确定并行计算图以及算子调度方案，其中，所述并行计算图具有至少一种算子调度方案；

根据确定的并行计算图和算子调度方案，将所述并行计算图中的算子任务在所述集群中调度执行。

2.根据权利要求1所述的方法，其特征在于，获取所述算子任务在集群中被节点执行的硬件执行代价包括：

将所述并行计算图的算子任务，调度至所述集群中执行设定规模的处理；

采集所述算子任务被节点执行的硬件执行代价。

3.根据权利要求1所述的方法，其特征在于，根据各所述算子任务的硬件执行代价，计算所述并行计算图采用所述算子调度方案在所述集群中执行的总执行代价包括：

按照所述算子调度方案中的调度顺序，以及各算子任务在所述并行计算图中的并发关系，统计各所述算子任务的硬件执行代价，计算所述总执行代价。

4.根据权利要求1-3任一所述的方法，其特征在于，确定目标任务的至少一个并行计算图包括：

根据所述目标任务的单机计算图，以及所述集群中的节点数量，生成至少一个所述并行计算图。

5.根据权利要求1-3任一所述的方法，其特征在于，所述算子任务的类型至少包括：计算类和通信类；

所述计算类的算子任务用于对数据进行计算；所述通信类的算子任务用于对数据在节点之间进行传输。

6.根据权利要求5所述的方法，其特征在于，所述目标任务为机器学习模型的训练任务或运行任务，所述计算类的算子任务包括下述至少一项：数学运算算子、数组运算算子和神经网络积木运算算子。

7.根据权利要求1-3任一所述的方法，其特征在于：

所述算子任务的硬件执行代价包括下述至少一种：所述算子任务的执行时间、以及所述算子任务的硬件占用数据；

所述硬件占用数据包括下述至少一种：显存占用比例、芯片利用率、和网络带宽利用率。

8.根据权利要求7所述的方法，其特征在于，如果所述硬件执行代价的种类为多个，则所述并行计算图的总执行代价为多个种类总执行代价的组合或对多个种类总执行代价的加权求和值。

9.一种任务并行处理的实现方法，其特征在于，包括：

确定目标任务的至少一个并行计算图，其中，所述并行计算图中包括多个算子任务；其中，所述算子任务为能够独立调度给集群中节点执行的任务；

根据所述并行计算图的算子特征、算子调度方案的调度特征、以及所述集群的硬件特征，基于调度方案模型，对所述并行计算图采用所述算子调度方案在所述集群中处理的总执行代价进行预测；所述集群包括多个节点，用于执行所述算子任务；

根据预测的总执行代价，筛选确定并行计算图以及算子调度方案；其中，所述并行计算图具有至少一种算子调度方案；

根据确定的并行计算图和算子调度方案，将所述并行计算图中的算子任务在所述集群中调度执行。