[发明专利]异步梯度平均的分布式随机梯度下降法

说明书

一种在多个计算节点上分布式训练机器学习模型的系统，包括：服务器，与多个计算节点连接，用于在多轮训练迭代中控制机器学习模型的训练。每轮训练迭代包括：指示每个计算节点通过如下方式对所述机器学习模型的相应本地副本进行训练：本地计算多个累积梯度中的相应累积梯度，每个累积梯度包括一个或多个梯度；从每个计算节点获取所述累积梯度；通过将所述机器学习模型与所述累积梯度的汇总值合并来创建更新的机器学习模型。其中，在获取和创建阶段，所述计算节点中的一个或多个计算节点计算新的相应累积梯度，所述新的相应累积梯度在下一轮训练迭代中与所述机器学习模型合并。

发明领域和背景

本发明在其一些实施例中涉及机器学习模型的分布式训练，更特别但非排他地，涉及通过平均多个计算节点本地异步训练的多个模型来对机器学习模型进行分布式训练。机器学习模型可以是深度学习、支持向量机、决策树等。

机器学习模型的使用正在不断增长。机器学习模型可以使用基于标准规则的方法、技术和/或算法为可能解决方案有限和/或没有解决方案的多个问题和/或应用提供多种有利条件和解决方案。

此类机器学习模型应用于实际测试数据之前，必须先经过训练。训练机器学习模型可能由于若干原因(例如，模型的复杂性和/或训练数据集的大小等)而遭遇重大障碍和挫折。随着模型的复杂性增加以应对高复杂性问题和/或应用，这些挑战可能会进一步显现出来。而训练此类复杂模型可能需要的庞大训练数据集可能会进一步增加计算资源，例如，训练模型所需的处理资源、存储资源和/或通信资源等。

因此，使用标准的计算平台和方法来训练机器学习模型可能不起作用。考虑到可接受的训练时间，可以应用分布式训练方法和系统，其中多个计算节点可以分别执行一部分训练过程。然后可以将从各计算节点接收的结果进行组合，以创建完整的经过训练的机器学习模型。

发明内容

根据本发明的第一方面，提供了一种在多个计算节点上分布式训练机器学习模型的系统，包括：服务器，与多个计算节点连接，用于在多轮训练迭代中控制机器学习模型的训练，所述多轮迭代分别包括：

-指示所述多个计算节点分别通过如下方式对存储在每个相应处理节点本地的所述机器学习模型的相应本地副本进行训练：本地计算多个累积梯度中的相应累积梯度，其中，所述多个累积梯度分别包括一个或多个梯度，

-分别从所述多个计算节点获取所述多个累积梯度，

-通过将所述机器学习模型与所述多个累积梯度的汇总值合并来创建更新的机器学习模型。

其中，在所述获取和创建阶段，所述多个计算节点中的一个或多个计算节点计算新的相应累积梯度，所述新的相应累积梯度在下一轮训练迭代中与所述机器学习模型合并。

使用分布式系统来训练机器学习模型，例如，深度学习模型，可以显著减少本可能会相当长的训练时间，尤其是对于使用大型训练数据集进行训练的大型模型而言。由于汇总值可以显著减少和/或消除计算节点中的一个或多个计算节点造成的奇异不规则性，因此，通过汇总分别从多个计算节点获取的累积梯度，可以显著提高优化(训练)后的机器学习模型的收敛速率。由于所述多个计算节点分别以同一机器学习模型的本地副本开始每轮训练迭代时可以更好地彼此同步，因此，收敛速率可以进一步提高。而且，由于本地训练(累积梯度计算)是由每个计算节点异步完成的，因此，每个计算节点的计算资源利用率可以显著提高。因此，各个计算节点可以(根据其可用的计算资源)以自己的速度独立地计算相应的累积梯度，而不受速度较慢的计算节点的阻碍。另外，所述服务器获取多个累积梯度并创建更新的机器学习模型的通信时间不会阻碍所述计算节点中的一个或多个计算节点计算新的累积梯度，从而减少了空闲时间并进一步提高了计算资源利用率。

根据本发明的第二方面，提供了一种在多个计算节点上分布式训练机器学习模型的方法，包括：通过多轮训练迭代来训练机器学习模型，所述多轮迭代分别包括：