[发明专利]一种梯度传输的方法及分布式训练系统

说明书

本申请公开了一种梯度传输的方法及分布式训练系统，用以提升训练过程中产生的梯度的传输效率，提高分布式训练的训练效率。该方法包括：根据输入的训练数据，获取神经网络模型的第i层神经元对应的权重的梯度；将第i层神经元对应的权重的梯度发送至梯度缓存区；判断梯度缓存区内存储的梯度的数量是否超过传输阈值；根据判断结果，将梯度缓存区内存储的梯度发送至梯度收集模块；获取根据梯度收集模块内存储的多个神经网络模型发送的梯度得到的神经网络模型的第i层神经元对应的权重的梯度均值；并根据第i层神经元对应的权重的梯度均值更新对应的权重，以执行神经网络模型的下一次迭代。

技术领域

本申请实施例涉及信息技术领域，尤其涉及一种梯度传输的方法及分布式训练系统。

背景技术

目前，人工智能(artificial intelligence，AI)受到广泛关注，其核心技术在各个领域取得重大突破，AI的核心技术之一就是深度学习，深度学习是一种基于神经网络模型的机器学习技术。神经网络模型包括多层神经元，每层神经元对应至少一个权重。神经网络模型经过多次迭代才能正常使用，神经网络模型的迭代可以为：根据海量的训练数据确定出最优的权重，使神经网络模型的预测结果与先验知识的差值最小。

在对神经网络模型的迭代中，为提高训练效率，可以采用多个训练设备进行分布式训练。在多个训练设备对神经网络模型的一次迭代中，针对任一权重，多个训练设备计算出的该权重的梯度可能是不同的，多个训练设备需要将计算出的各个权重的梯度进行传输，以便确定梯度均值。多个训练设备采用梯度均值对权重进行更新，针对任一权重，多个训练设备更新后的权重是相同的。各个训练设备在对各层神经元对应的权重进行更新后，分别使用更新后的各层神经元对应的权重对神经网络模型进行下一次迭代。

多个训练设备在一次迭代的过程中，如何对多个训练设备得到的梯度进行同步对训练效率的影响较大。

发明内容

本申请实施例提供一种梯度传输的方法，用以提升训练过程中生成的梯度在神经网络模型间同步的效率。

第一方面，本发明提供了一种梯度传输的方法，在神经网络模型的分布式训练系统中，包括多个神经网络模型，每个神经网络模型包括n层神经元，每层神经元对应至少一个权重，其中，n为正整数，多个神经网络模型同时进行一次迭代，多个神经网络模型中的每个神经网络模型在进行一次迭代时，过程类似。以分布式训练系统中的任一神经网络模型为例进行说明。

神经网络模型在一次迭代中，首先，可以输入训练数据，根据输入的训练数据，获取该神经网络模型的第i层神经元对应的权重的梯度，其中，i为不大于n的正整数；将该神经网络模型的第i层神经元对应的权重的梯度发送至该神经网络模型的梯度缓存区。在将梯度发送至梯度缓存区后，可以判断该神经网络模型的梯度缓存区内存储的梯度的数量是否超过确定出的传输阈值；然后根据判断结果，将该神经网络模型的梯度缓存区内存储的梯度发送至梯度收集模块，在发送完后，梯度缓存区就没有梯度了；一般，当梯度缓存区内存储的梯度的数量超过确定出的传输阈值后，将梯度缓存区内存储的梯度发送至梯度收集模块。多个神经网络模型均将梯度发送至梯度搜集模块，则梯度搜集模块中存储有多个神经网络模型发送的梯度，进一步地，获取根据该梯度收集模块内存储的该多个神经网络模型发送的梯度得到的该神经网络模型的第i层神经元对应的权重的梯度均值；最后，根据该神经网络模型的第i层神经元对应的权重的梯度均值更新该神经网络模型的第i层神经元对应的权重，以执行该神经网络模型的下一次迭代。

通过设置传输阈值，将存储的梯度的数量与传输阈值进行比较，确定是否将梯度进行传输，并且还根据多个神经网络模型的梯度，确定梯度均值，采用梯度均值对权重值进行更新，不仅实现了梯度的传输，也提高分布式训练的训练效率。此外，根据神经网络模型确定传输阈值，不同的神经网络模型采用不同的传输阈值，避免了因传输阈值和神经网络模型不匹配而导致的传输效率的损失，进一步提高分布式训练的训练效率。