[发明专利]一种数据处理方法和数据处理设备

说明书

本申请实施例公开了一种数据处理方法，涉及人工智能领域，应用于分布式并行模型训练，例如文本翻译模型、语音识别模型、人脸识别模型、三维重建模型以及虚拟现实模型等的分布式训练，该方法可以支持混合并行在分布式集群中的实现。该方法包括：基于深度神经网络模型中每个算子的张量的张量排布，在具有输入输出依赖关系算子之间插入重排布算子，实现不同张量排布之间的转换，在切片计算图中插入重排布算子，确定更新后的切片计算图实现深度神经网络的并行模型训练。

技术领域

本申请涉及人工智能领域，尤其涉及一种数据处理方法和数据处理设备。

背景技术

在多个计算设备上部署深度学习模型是训练大规模复杂模型的一种方式。数据并行是应用最广的并行策略，但随着数据集和模型越来越大，单卡内存受限，训练设备数量不断增加，导致通信开销增长，数据并行遇到瓶颈，需要进行数据和模型混合并行。

深度学习模型的并行方案可以根据模型中所有算子的张量排布体现，张量排布包括设备矩阵、张量形状和张量映射。现有的网格张量流(Mesh-Tensorflow)方案中，可以对张量的任意维度进行切分，但是所有张量的设备矩阵必须相同。

由于Mesh-Tensorflow方案要求所有张量的设备矩阵相同，导致张量映射存在约束，例如，张量的样本维度必须映射到所有张量的设备矩阵的同一维度，限制了多种并行方式的转换，例如数据并行和模型并行的混合并行无法实现。

发明内容

本申请实施例提供了一种数据处理方法，应用于深度神经网络模型的训练的分布式集群，使得不同并行模式构成的混合并行可以在分布式集群中实现。

本申请实施例第一方面提供一种数据处理方法，本申请实施例提供的数据处理方法通常应用于分布式集群，该分布式集群中包括多个数据处理设备，本方法可以用于该分布式集群中的一个或多个数据处理设备中，该方法包括：获取深度神经网络模型，以及所述深度神经网络模型中每个算子的输入张量的张量排布和所述每个算子的输出张量的张量排布，所述张量排布包括设备矩阵、张量映射和张量形状，设备矩阵中的每个元素代表分布式集群中的一个数据处理设备，设备矩阵中所有元素对应的多个数据处理设备用于并行执行该深度神经网络模型，所述深度神经网络模型中包括第一算子和第二算子，所述第一算子和所述第二算子为所述深度神经网络模型中的两个连续算子，且所述第一算子的输出张量为所述第二算子的输入张量，第一张量排布与第二张量排布不一致，其中，所述第一张量排布为所述第一算子的输出张量的张量排布，所述第二张量排布为所述第二算子的输入张量的张量排布；根据所述每个算子的输入张量的张量排布和所述每个算子的输出张量的张量排布，确定数据处理设备的切片计算图；确定所述第一算子和所述第二算子之间的重排布算子，所述重排布算子用于将所述第一张量排布转换为所述第二张量排布；在所述切片计算图中插入所述重排布算子，以确定更新后的切片计算图，所述更新后的切片计算图用于指示执行所述深度神经网络模型的部分。

本申请实施例提供的数据处理方法，数据处理设备获取深度神经网络模型，以及其中所有算子的张量排布，包括输入张量的张量排布和输出张量的张量排布，其中，若存在连续的两个算子，第一算子的输出张量的张量排布与第二算子的输入张量的张量排布不一致，则根据该张量排布得到的切片计算图无法执行，本申请中，数据处理设备确定第一算子和第二算子之间的重排布算子，用于将第一算子的输出张量的张量排布转换为第二算子的输入张量的张量排布，由此，在切片计算图中插入重排布算子，确定的更新后的切片计算图可以被执行。该方案可以应用于深度神经网络模型中每个算子任意张量排布的情况，通过重排布算子实现并行方式的转换，使得各类混合并行可以在分布式集群中实现。