[发明专利]深度学习模型分布式训练系统的参数同步方法及系统

说明书

本发明涉及一种深度学习模型分布式训练系统的参数同步方法及系统，该方法的管理节点在自身的训练任务结束时，向目标参数服务器发送查询指令，根据查询结果，判断完成训练任务的节点数量是否等于预设值；若是，从目标参数服务器获取训练好的模型参数，并将所述模型参数保存为模型存储在分布式文件系统中，从而保证了管理节点获取到的分布式模型参数的完整性，解决了现有技术中深度学习模型分布式训练时，由于管理节点在训练结束时获取的分布式模型参数不完整，导致训练出的模型效果不佳的问题。

技术领域

本发明涉及深度学习模型技术领域，具体涉及一种深度学习模型分布式训练系统的参数同步方法及系统。

背景技术

在解决图像检测、文本分类、语音识别问题时，往往会用到深度学习分布式训练，对海量的图像数据及文本数据进行分类。例如，谷歌的阿尔法围棋程序就需要以百万甚至千万数量级的棋谱进行训练。

在深度学习分布式训练场景下，有一种典型的parameter server(参数服务器)的分布式训练。如图1所示，parameter server的分布式训练包括多个训练角色，主要包括管理节点Master、执行节点Worker、参数服务器节点 Parameter Server(以下简称为PS)三种，其中，管理节点Master也可以用其中一个执行节点Worker来替代，比如用index为0的执行节点Worker来替代。

其中，管理节点Master和执行节点Worker都是用来训练深度学习模型的， PS是用来保存深度学习模型参数的。管理节点Master只会有一个，执行节点 Worker会有一个或多个，PS会有一个或多个。管理节点Master(或者index 为0的执行节点Worker)除了参与训练，还会控制整个训练过程，当训练结束的时候，会把训练好的整个模型参数保存下来。在训练过程中，管理节点 Master/执行节点Worker每次会从PS读取深度学习模型参数，并进行训练，然后把参数更新到PS去。

如图2所示，在深度学习模型的分布式训练中，Master/Worker会读取训练数据集并进行训练，为了让Master/Worker不重复训练数据，会把数据集做独立切分。例如，有100个数据集训练文件，有1个Master 9个Worker，那么可以将这100个数据集训练文件切分成10份，每份10个文件，那么Master 和9个Worker可以各自独立读取并训练这10份数据集训练文件，每份数据集文件都是10个。而且这些数据集训练文件都会被保存到分布式文件系统中。

如图3所示，Master除了参与数据集训练外，还参与训练流程的控制和模型参数的保存，在完成所有的数据集训练后，Master会将最后训练好的模型参数从所有的PS中读出来，并保存成模型到分布式文件系统中。

由于分布式训练过程中，Master和Worker之间各自独立训练自己分到的数据，整个训练过程都不会互相同步。而且，在实际的物理集群训练时，Master 和Worker所在的机器可能由于各种原因，例如，CPU负载不同、网络状态不同等，导致Master和Worker训练速度会不同，可能Master比较快，也可能 Worker比较快，也可能Master比部分Worker快，但是比部分Worker慢。

如果Master比Worker快很多，导致Master只将分给自己的数据集训练完成后退出，并只将当前训练好的模型参数从PS获取并保存下来，这个时候实际上Worker还有部分数据集没有训练，从而导致训练出的模型效果不佳。

另外，由于是分布式训练，Master和Worker的启动顺序会不同，如果训练数据集总量比较小，甚至可能Worker任务还没开始，Master就已经完成了自己的数据集训练，这也会导致训练出的模型效果不佳。