[发明专利]分布式并行的深度学习方法及系统

说明书

本发明提供一种分布式并行的深度学习方法、处理器及系统，该方法适用于由N个处理器构成的分布式并行的深度学习系统，具体内容为：每个处理器将用于训练神经网络模型的训练数据划分为N个第一梯度块。每个处理器对N个第一梯度块进行N‑1次迭代累积处理，得到每个处理器对应的N个第二梯度块。每个处理器对N个第二梯度块进行N‑1次迭代覆盖处理，得到每个处理器对应的N个第三梯度块，完成对神经网络模型的训练。本方案中，预先将训练数据划分为N个梯度块，并利用每个处理器分别对N个梯度块进行N‑1次迭代累积和迭代覆盖处理，完成对神经网络模型的训练，降低训练周期、训练成本和提高训练效率。

技术领域

本发明涉及神经网络训练技术领域，具体涉及一种分布式并行的深度学习方法及系统。

背景技术

随着科学技术的发展，神经网络模型逐渐应用于各行各业中。在实际应用神经网络模型时，根据实际需求训练预先构建好的神经网络模型，以满足实际需求。

在训练神经网络模型的过程中，通常需要大量的训练数据和计算资源对构建好的神经网络模型进行训练，神经网络模型的规模越大，需要的训练数据和计算资源也越多。例如在训练神经网络模型时，从计算机视觉目标识别数据集(ImageNet)中获取训练数据，而ImageNet中存在1500万张以上的图片，对于海量的训练数据，即使先进的采用图形处理器(Graphics Processing Unit，GPU)训练神经网络模型也需要数周至数月的时间，训练周期较长。

因此，现有的神经网络模型训练方式存在训练周期长、训练成本高和效率低等问题。

发明内容

有鉴于此，本发明实施例提供一种分布式并行的深度学习方法、处理器及系统，以解决现有的神经网络模型训练方式存在训练周期长、训练成本高和效率低等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种分布式并行的深度学习方法，适用于由N个处理器构成的分布式并行的深度学习系统，所述方法包括：

每个处理器将用于训练神经网络模型的训练数据划分为N个第一梯度块，其中，每个所述第一梯度块和处理器按照0至N-1的顺序进行排序，N为大于等于2的整数；

每个所述处理器对N个第一梯度块进行N-1次迭代累积处理，得到每个所述处理器对应的N个第二梯度块；

每个所述处理器对N个第二梯度块进行N-1次迭代覆盖处理，得到每个所述处理器对应的N个第三梯度块；

根据每个所述处理器对应的N个第三梯度块，完成对所述神经网络模型的训练。

优选的，进行累加的第一梯度块为序号相同的梯度块。

优选的，所述每个所述处理器对N个第二梯度块进行N-1次迭代覆盖处理，得到每个所述处理器对应的N个第三梯度块中，在每一次迭代覆盖处理中，每个处理器向下一个处理器发送一个第二梯度块，接收上一个处理器发送的一个第二梯度块，所述每个处理器将接收到的第二梯度块覆盖自身的第二梯度块，其中，进行覆盖的第二梯度块为序号相同的梯度块。

优选的，每个所述处理器对N个第一梯度块进行N-1次迭代累积处理，得到每个所述处理器对应的N个第二梯度块的步骤中，在每一次迭代累积处理中，每个处理器向下一个处理器发送一个第一梯度块，接收上一个处理器发送的一个第一梯度块，所述每个处理器将接收到的第一梯度块与自身的第一梯度块进行累加。

优选的，所述每个所述处理器对N个第一梯度块进行N-1次迭代累积处理，得到每个所述处理器对应的N个第二梯度块，包括：