[发明专利]一种分布式训练中的梯度更新方法及相关设备

权利要求书

1.一种分布式训练中的梯度更新方法，应用于计算节点服务器，所述方法包括：

监测对目标数据进行分布式训练的全局轮换更新步数；

基于所述全局轮换更新步数满足所述计算节点服务器的全局梯度更新条件的判断，将所述计算节点服务器当前的本地梯度累计值传输给参数服务器中，由所述参数服务器对全局训练模型基于所述本地梯度累计值进行梯度更新；

基于所述全局轮换更新步数不满足所述计算节点服务器的全局梯度更新条件的判断，计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中。

2.根据权利要求1所述的方法，其特征在于，计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中，包括：

基于本地训练模型，计算当前本地梯度；

将所述当前本地梯度累加到所述本地梯度累计值中。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

基于所述当前本地梯度，对所述计算节点服务器中的本地训练模型进行梯度更新。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

接收所述参数服务器传输的全局训练模型，所述参数服务器传输的全局训练模型为经过基于所述本地梯度累计值的梯度更新后的模型；

将接收到的全局训练模型更新为所述计算节点服务器的本地训练模型。

5.根据权利要求1或2所述的方法，其特征在于，所述全局梯度更新条件包括：全局轮换更新步数与计算节点服务器的本地轮换标识相对应。

6.一种分布式训练中的梯度更新装置，应用于计算节点服务器，所述装置包括：

步数监测单元，用于监测对目标数据进行分布式训练的全局轮换更新步数；

条件判断单元，用于判断所述全局轮换更新步数是否满足所述计算节点服务器的全局梯度更新条件，如果是，触发梯度更新单元，否则，触发梯度累计单元；

梯度更新单元，用于将所述计算节点服务器当前的本地梯度累计值传输给参数服务器中，由所述参数服务器对全局训练模型基于所述本地梯度累计值进行梯度更新；

梯度累计单元，用于计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中。

7.一种计算节点服务器，包括：

存储器，用于存储应用程序及所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现功能：监测对目标数据进行分布式训练的全局轮换更新步数；基于所述全局轮换更新步数满足所述计算节点服务器的全局梯度更新条件的判断，将所述计算节点服务器当前的本地梯度累计值传输给参数服务器中，由所述参数服务器对全局训练模型基于所述本地梯度累计值进行梯度更新；基于所述全局轮换更新步数不满足所述计算节点服务器的全局梯度更新条件的判断，计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中。

8.一种训练集群，包括：

参数服务器，用于存储全局训练模型；

计算节点服务器，用于监测对目标数据进行分布式训练的全局轮换更新步数；基于所述全局轮换更新步数满足所述计算节点服务器的全局梯度更新条件的判断，将所述计算节点服务器当前的本地梯度累计值传输给参数服务器中，由所述参数服务器对全局训练模型基于所述本地梯度累计值进行梯度更新；基于所述全局轮换更新步数不满足所述计算节点服务器的全局梯度更新条件的判断，计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中。

9.根据权利要求8所述的训练集群，其特征在于，所述计算节点服务器具体用于：基于本地训练模型，计算当前本地梯度；将所述当前本地梯度累加到所述本地梯度累计值中。

10.根据权利要求8或9所述的训练集群，其特征在于，所述计算节点服务器还用于：接收所述参数服务器传输的全局训练模型，所述参数服务器传输的全局训练模型为经过基于所述本地梯度累计值的梯度更新后的模型；将接收到的全局训练模型更新为所述计算节点服务器的本地训练模型。