[发明专利]在机器学习模型训练中使用滞后梯度

说明书

一种用于对神经网络模型进行分布式同步训练的计算机实现方法包括：检测来自对应的多个计算节点机器的多个梯度集合，其中每个所述计算节点机器在训练数据集的当前迭代中生成所述多个梯度集合中的对应的梯度集合，且所述多个梯度集合中的每个梯度集合包括多个梯度；检测来自另一计算节点机器的滞后梯度集合，其中所述滞后梯度集合由所述另一计算节点机器在所述训练数据集的先前迭代中生成；基于所述多个梯度集合和所述滞后梯度集合生成聚合梯度；以及基于所述聚合梯度更新所述神经网络模型。

技术领域

本发明涉及机器学习模型训练。更具体地，本发明涉及在机器学习模型训练中使用滞后梯度，包括在分布式同步训练架构中使用滞后梯度。

背景技术

随着深度神经网络(deep neural network，DNN)的成功应用，对网络规模和数据量的要求快速增长。因此，对这些网络的有效训练，特别是在分布式训练环境中的训练，尤为重要。

在DNN的分布式同步训练环境中，神经网络模型训练过程中的梯度聚合在慢速计算节点机器上遭遇瓶颈。在更新所述模型之前，参数服务器必须等待，直到接收到来自所有计算节点的梯度。添加备份计算节点可以避免等待每次迭代中来自慢速计算节点的梯度，并且可以加快对更新的梯度的计算。但是，来自备份计算节点的滞后梯度会被丢弃，这可能会浪费在其他地方可以利用的计算资源。

发明内容

本文描述了各种示例，以简化的形式介绍概念的选择，下文在具体实施方式中会进一步描述这些概念。发明内容并非旨在识别所要求保护的标的物的关键或实质特征，也非旨在限制所要求保护的标的物的范围。

根据本发明的第一方面，提供了一种用于对神经网络模型进行分布式同步训练的计算机实现方法。所述方法包括：检测来自对应的多个计算节点机器的多个梯度集合，其中每个所述计算节点机器在训练数据集的当前迭代中生成所述多个梯度集合中的梯度集合，且所述多个梯度集合中的每个梯度集合包括多个梯度；检测来自另一计算节点机器的滞后梯度集合，其中所述滞后梯度集合由所述至少另一计算节点机器在所述训练数据集的先前迭代中生成；通过基于所述多个梯度集合和所述滞后梯度集合进行梯度聚合，生成聚合梯度；以及基于所述聚合梯度更新所述神经网络模型。

在根据所述第一方面所述的方法的第一种实现方式中，对所述聚合梯度进行平均，以生成平均梯度集合，且利用所述平均梯度集合更新所述神经网络模型的多个权重。

在根据所述第一方面或所述第一方面的上述实现方式所述的方法的第二种实现方式中，确定所述滞后梯度集合的权重，且基于所述权重利用所述多个梯度集合和所述滞后梯度集合的加权版本进行所述梯度聚合。

在根据所述第一方面或所述第一方面的上述实现方式中任一项所述的方法的第三种实现方式中，基于所述当前迭代的索引和所述先前迭代的索引确定所述权重。

在根据所述第一方面或所述第一方面的上述实现方式中任一项所述的方法的第四种实现方式中，所述权重为1/(1+Δ)，其中Δ是所述当前迭代的所述索引和所述先前迭代的所述索引之间的差值。

在根据所述第一方面或所述第一方面的上述实现方式中任一项所述的方法的第五种实现方式中，所述权重为1/a^Δ，其中Δ是所述当前迭代的所述索引和所述先前迭代的所述索引之间的差值，a是大于1的整数。

在根据所述第一方面或所述第一方面的上述实现方式中任一项所述的方法的第六种实现方式中，当从中接收到所述多个梯度集合中的梯度集合的所述多个计算节点机器中的计算节点机器的数量达到阈值数量时，进行所述梯度聚合。

在根据所述第一方面或所述第一方面的上述实现方式中任一项所述的方法的第七种实现方式中，所述更新所述神经网络模型包括：基于所述聚合梯度更新所述神经网络模型内的多个权重和偏置。