[发明专利]一种梯度传输的方法及分布式训练系统

权利要求书

1.一种梯度传输的方法，所述方法应用于神经网络模型的分布式训练系统，其特征在于，所述分布式训练系统包括多个神经网络模型，每个神经网络模型包括n层神经元，每层神经元对应至少一个权重，其中，n为正整数，所述方法包括：

每个神经网络模型在一次迭代中，根据输入的训练数据，获取所述神经网络模型的第i层神经元对应的权重的梯度，其中，i为不大于n的正整数；

将所述神经网络模型的第i层神经元对应的权重的梯度发送至所述神经网络模型的梯度缓存区；

判断所述神经网络模型的梯度缓存区内存储的梯度的数量是否超过确定出的传输阈值；

根据判断结果，将所述神经网络模型的梯度缓存区内存储的梯度发送至梯度收集模块；

获取根据所述梯度收集模块内存储的所述多个神经网络模型发送的梯度得到的所述神经网络模型的第i层神经元对应的权重的梯度均值；

根据所述神经网络模型的第i层神经元对应的权重的梯度均值更新所述神经网络模型的第i层神经元对应的权重，以执行所述神经网络模型的下一次迭代。

2.如权利要求1所述的方法，其特征在于，所述判断神经网络模型的梯度缓存区内存储的梯度的数量是否超过确定出的传输阈值前，所述方法还包括：

通过m次迭代获取传输阈值集合中m个备选传输阈值中每一个备选传输阈值对应的传输时长；

根据所述m个传输时长，确定出所述传输阈值。

3.如权利要求2所述的方法，其特征在于，所述根据所述m个传输时长，确定出所述传输阈值包括：

选择所述m个传输时长中最短的传输时长对应的备选传输阈值作为所述传输阈值。

4.根据权利要求2-3中任一所述的方法，其特征在于，每个备选传输阈值均不小于所述神经网络模型的任一层神经元对应的权重的个数。

5.一种分布式训练系统，其特征在于，所述分布式训练系统包括多个神经网络模型和传输模块，每个神经网络模型包括n层神经元，每层神经元对应至少一个权重，其中，n为正整数；

所述神经网络模型，用于在一次迭代中，根据输入的训练数据，获取所述神经网络模型的第i层神经元对应的权重的梯度，其中，i为不大于n的正整数；将所述神经网络模型的第i层神经元对应的权重的梯度发送至所述神经网络模型的梯度缓存区；

所述传输模块，用于判断所述神经网络模型的梯度缓存区内存储的梯度的数量是否超过确定出的传输阈值；根据判断结果，将所述神经网络模型的梯度缓存区内存储的梯度发送至梯度收集模块；

所述神经网络模型，还用于获取根据所述梯度收集模块内存储的所述多个神经网络模型发送的梯度得到的所述神经网络模型的第i层神经元对应的权重的梯度均值；根据所述神经网络模型的第i层神经元对应的权重的梯度均值更新所述神经网络模型的第i层神经元对应的权重，以执行所述神经网络模型的下一次迭代。

6.如权利要求5所述的分布式训练系统，其特征在于，所述传输模块，还用于通过m次迭代获取传输阈值集合中m个备选传输阈值中每一个备选传输阈值对应的传输时长；根据所述m个传输时长，确定出所述传输阈值。

7.如权利要求6所述的分布式训练系统，其特征在于，所述传输模块用于根据所述m个传输时长，确定出所述传输阈值时，具体用于：

选择所述m个传输时长中最短的传输时长对应的备选传输阈值作为所述传输阈值。

8.根据权利要求6-7中任一所述的分布式训练系统，其特征在于，每个备选传输阈值均不小于所述神经网络模型的任一层神经元对应的权重的个数。

9.一种分布式训练系统，其特征在于，所述分布式训练系统包括至少一个训练设备，所述训练设备包括：处理器和存储器；

所述存储器，用于存储计算机指令；

所述处理器，用于执行所述存储器中的计算机指令，以实现上述权利要求1-4任一项所述的方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述存储介质中存储有计算机指令，所述计算机指令用于由处理器执行以实现上述权利要求1-4任一项所述的方法。