[发明专利]一种用多核处理器实现神经网络模型拆分方法及相关产品

权利要求书

1.一种用多核处理器实现神经网络模型拆分方法，其特征在于，所述方法包括：

根据所述神经网络模型对应计算图中的目标算子，确定与所述目标算子相关联的张量数据的原始拆分状态集合；

在所述目标算子与所述原始拆分状态集合之间插入胶水算子，调整所述目标算子的张量数据的拆分状态集合中的拆分状态，得到调整后的拆分状态集合；其中，所述胶水算子用于将张量数据按照一种拆分方式得到的子张量数据转换成按照另一种拆分方式得到的子张量数据；

遍历所述目标算子关联的张量数据的所述拆分状态集合，确定相邻拆分状态集合之间所述目标算子的张量数据的拆分路径；

根据所述拆分路径的权重，确定所述目标算子的张量数据的目标拆分路径；

根据所述目标拆分路径对所述目标算子的张量数据进行拆分，以分配到多核处理器的对应核进行处理。

2.根据权利要求1所述的方法，其特征在于，所述调整所述目标算子的张量数据的拆分状态集合中的拆分状态，包括：

对所述原始拆分状态集合中的拆分状态进行拼接。

3.根据权利要求1所述的方法，其特征在于，所述调整所述目标算子的张量数据的拆分状态集合中的拆分状态，包括：

对所述原始拆分状态集合中的拆分状态进行拆分。

4.根据权利要求1所述的方法，其特征在于，所述调整所述目标算子的拆分状态集合中的拆分状态，包括：

对所述原始拆分状态集合中的拆分状态进行拼接，再对经过拼接处理后的拆分状态集合中的拆分状态进行拆分。

5.根据权利要求1所述的方法，其特征在于，所述调整所述目标算子的拆分状态集合中的拆分状态，包括：

对所述原始拆分状态集合中的拆分状态进行拆分，再对经过拆分处理后的拆分状态集合中的拆分状态进行拼接。

6.根据权利要求2-5任一项所述的方法，其特征在于，在所述目标算子与所述原始拆分状态集合之间插入胶水算子，还包括：

利用包含所述胶水算子在内的计算图中的目标算子的目标拆分路径对插入的每个胶水算子进行选择，在满足所述目标拆分路径中包含的胶水算子的输入张量数据的拆分状态和输出张量数据的拆分状态相同的情况下，删除所述胶水算子。

7.根据权利要求6所述的方法，其特征在于，在所述目标算子与所述原始拆分状态集合之间插入胶水算子，所述方法还包括：

在满足所述目标拆分路径中插入了胶水算子的输入张量数据的拆分状态和输出张量数据的拆分状态不相同的情况下，保留所述胶水算子。

8.根据权利要求1所述的方法，其特征在于，确定所述目标算子的张量数据的目标拆分路径的步骤包括：

遍历所述目标算子的张量数据的所有拆分状态集合和所述胶水算子的张量数据的所有拆分状态集合，对当前拆分状态集合，遍历每一拆分状态，获得所有指向当前拆分状态的有向边以及所述有向边的起点对应的拆分状态到所述目标算子或所述胶水算子的输入张量数据的拆分状态之间的拆分路径；

根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子或所述胶水算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子或所述胶水算子的输入张量数据的拆分状态之间的拆分路径；其中，所述拆分路径的权重根据所述拆分路径对应的所有有向边的权重确定；

遍历完所述目标算子的张量数据的所有拆分状态集合和所述胶水算子的张量数据的所有拆分状态集合后，获得所述目标算子的张量数据的目标拆分路径。