[发明专利]一种模型训练系统、模型训练中梯度聚合的方法及装置

权利要求书

1.一种模型训练系统，包括至少两个训练节点，所述至少两个训练节点形成环状传输路径，第一训练节点为所述模型训练系统中的任一个训练节点，第二训练节点为所述环状传输路径上位于所述第一训练节点上游的训练节点，每个训练节点上都包括一份相同的计算图，所述每个训练节点根据所述训练节点上的计算图处理训练数据，所述计算图用于定义多个算子的计算逻辑以及所述多个算子之间数据的输入关系和输出关系，其特征在于，

所述第一训练节点将第一训练数据输入第一计算图，所述第一计算图包括第一算子和至少一个聚合算子，所述第一训练数据用于训练出所述第一算子的第一梯度，所述第一计算图还用于定义所述至少一个聚合算子以及所述多个第一算子与所述至少一个聚合算子之间数据的输入关系和输出关系，所述聚合算子与N个第一算子之间具有输入关系和输出关系，N为大于1的整数；

所述第二训练节点将第二训练数据输入第二计算图，所述第二计算图包括与所述第一算子对应的第二算子，所述第二训练数据用于训练出所述第二算子的第二梯度；

响应于所述第二训练节点聚合得到的所述第二算子的聚合梯度，所述第二训练节点将所述聚合梯度发送给所述第一训练节点；

所述第一训练节点确定所述聚合算子接收到所述N个第一算子输出的N个第一梯度，其中，每个第一算子输出一个第一梯度；

所述第一训练节点通过所述聚合算子将N个第一算子各自输出的第一梯度与对应的所述第二算子的聚合梯度进行聚合，以得到所述N个第一算子各自的聚合梯度。

2.根据权利要求1所述的模型训练系统，其特征在于，

所述第一训练节点使用所述第一算子的聚合梯度更新所述第一计算图中所述第一算子对应的权重。

3.一种模型训练中梯度聚合的方法，其特征在于，所述方法应用于模型训练系统中的第一训练节点，所述第一训练节点为所述模型训练系统中的任一个训练节点，所述模型训练系统包括至少两个训练节点，所述至少两个训练节点形成环状传输路径，第二训练节点为所述环状传输路径上位于所述第一训练节点上游的训练节点，每个训练节点上都包括一份相同的计算图，所述每个训练节点根据所述训练节点上的计算图处理训练数据，所述计算图用于定义多个算子的计算逻辑以及所述多个算子之间数据的输入关系和输出关系，所述方法包括：

将第一训练数据输入第一计算图，所述第一计算图包括第一算子和至少一个聚合算子，所述第一训练数据用于训练出所述第一算子的第一梯度，所述第一计算图还用于定义所述至少一个聚合算子以及所述多个第一算子与所述至少一个聚合算子之间数据的输入关系和输出关系，所述聚合算子与N个第一算子之间具有输入关系和输出关系，N为大于1的整数；

接收所述第二训练节点发送的第二计算图中第二算子的聚合梯度，所述第二计算图包括与所述第一算子对应的所述第二算子；

确定所述聚合算子接收到所述N个第一算子输出的N个第一梯度，其中，每个第一算子输出一个第一梯度；

通过所述聚合算子将N个第一算子各自输出的第一梯度与对应的所述第二算子的聚合梯度进行聚合，以得到所述N个第一算子各自的聚合梯度。

4.根据权利要求3所述的方法，其特征在于，所述确定所述聚合算子接收到所述N个第一算子输出的N个第一梯度，包括：

检测所述聚合算子接收的第一梯度的数量；

若所述第一梯度的数量与所述聚合算子所连接的N个第一算子的数量相同，则确定所述聚合算子接收到所述N个第一算子输出的N个第一梯度。

5.根据权利要求3所述的方法，其特征在于，所述确定所述聚合算子接收到所述N个第一算子输出的N个第一梯度，包括：

检测所述第一算子的位图中所述N个第一算子的指示位，所述位图包括所述第一计算图中每个第一算子的指示位，其中每个指示位表示该第一算子的第一梯度的就绪状态，所述就绪状态用于指示所述聚合算子已接收到所述第一梯度或未接收到所述第一梯度；

若所述N个第一算子的指示位上的就绪状态都指示各自的第一梯度已就绪，则确定所述聚合算子接收到所述N个第一算子输出的N个第一梯度。