[发明专利]为神经网络生成并行计算方案

说明书

各种实施例涉及确定神经网络的并行计算方案。一种设备可以接收计算图并将所述计算图变换为包括递归子图的数据流图。每个递归子图可以包括另一递归子图和算子节点的元组或者空图。所述设备可以基于并行计算设备的数量确定切分递归的次数。对于每次切分递归，所述设备可以确定算子节点对应的成本；确定所述递归子图的处理顺序；以及处理所述递归子图。为了处理递归子图，所述设备可以为与所述递归子图的算子节点相关联的一个或多个张量选择切分轴。所述设备可以输出切分方案，其中，所述切分方案包括与所述算子节点相关联的每个张量的切分轴。本申请公开了多种设备、方法和计算机程序。

技术领域

本发明大体上涉及神经网络和分布式并行计算技术领域。具体地，本发明的一些实施例涉及为神经网络生成并行计算方案。

背景技术

神经网络或其他机器学习工具能够为各种类型的应用实现任务自动化。示例性应用包括文本数据、语音数据、图像数据或视频数据等的分析和处理。然而，即使神经网络为任务自动化提供了一个强大的工具，但复杂神经网络的处理可能较慢，甚至在所有设备中都不可行。

发明内容

提供本发明内容是为了以简化的形式引入概念的选择，这些概念将在以下具体实现方式中进行进一步的描述。本发明内容的目的不在于识别权利要求书保护的主题的关键特征或必要特征，也不在于限制权利要求书保护的主题的范围。

本发明的目的在于为神经网络提供一种高效且确定性的并行计算方案生成方法。上述和其他目的可以通过独立权利要求的特征来实现。进一步的实现方式在从属权利要求、具体说明和附图中显而易见。

第一方面，提供了一种用于确定神经网络的并行计算方案的设备。所述设备可以用于接收所述神经网络的计算图，并将所述计算图变换为包括多个递归子图的数据流图。每个递归子图可以包括另一递归子图和算子节点的元组或者空图。所述设备可以用于基于并行计算设备的数量确定切分递归的次数。所述设备可以用于：对于每次切分递归，确定与所述数据流图相关联的多个算子节点对应的多个成本；基于所述多个成本的从高到低的顺序，确定所述多个递归子图的处理顺序；以及按照所述确定的处理顺序处理所述多个递归子图。处理递归子图可以包括：为与所述递归子图的算子节点相关联的张量选择切分轴。所述设备可以用于输出切分方案，其中，所述切分方案包括与所述多个算子节点相关联的每个张量的切分轴。该方案为确定神经网络的并行计算方案提供了一种高效且确定性的方式。

根据第一方面的一种实现方式，所述设备还可以用于确定所述切分递归的次数，使得2^N等于所述并行计算设备的数量，其中，N为所述切分递归的次数。该方案能够确定预配置的切分递归的次数。

根据第一方面的一种实现方式，所述设备还可以用于基于所述并行计算设备之间要为每个算子节点传输的数据量，确定所述多个算子节点对应的所述多个成本。该方案能够在确定所述切分方案时优先考虑高成本算子节点。

根据第一方面的一种实现方式，所述设备还可以用于基于算子内通信成本，为与所述算子节点相关联的所述张量选择所述切分轴，其中，所述算子内通信成本包括所述并行计算设备之间要为所述算子节点传输的数据量。该方案能够减少所述并行计算设备之间的通信。

根据第一方面的一种实现方式，所述设备还可以用于如果在当前切分递归中没有为相邻算子节点确定切分轴，则基于所述算子内通信成本，为与所述算子节点相关联的所述张量选择所述切分轴。该方案可以大致估计所述算子节点的所述通信成本。

根据第一方面的一种实现方式，所述设备还可以用于基于算子间通信成本，为与所述算子节点相关联的所述张量选择所述切分轴，其中，所述算子间通信成本包括所述并行计算设备之间基于所述算子节点与相邻算子节点间的共享张量执行所述相邻算子节点或者基于相邻算子节点的输出执行所述算子节点所要传输的数据量。由于算子节点之间的依赖关系，该方案能够减少并行计算设备之间的通信。