[发明专利]分布式系统中的多模型训练管道

说明书

分布式系统的第一工作者节点使用第一神经网络模型以及与该第一神经网络模型相关联的第一组权重而计算第一组梯度。该第一组梯度从该第一工作者节点传输到该分布式系统的第二工作者节点。该第二工作者节点基于该第一组梯度而计算第一组经同步的梯度。在计算该第一组经同步的梯度的同时，该第一工作者节点使用第二神经网络模型以及与该第二神经网络模型相关联的第二组权重而计算第二组梯度。该第二组梯度从该第一工作者节点传输到该第二工作者节点。该第二工作者节点基于该第二组梯度而计算第二组经同步的梯度。

背景技术

常被简称为神经网络的人工神经网络是具有基于生物神经网络的体系结构的计算系统。可以使用训练数据来训练神经网络以学习如何进行某些任务，诸如，从图像或视频中辨别物理对象、活动、角色等或将其分类。神经网络可以包含处理节点的多个层。层中的每个处理节点可以对前一层中的处理节点生成的输入数据进行计算，以生成输出数据。例如，处理节点可以进行一组算术运算诸如乘法和加法，以生成中间输出，或者对中间输出进行后处理操作以生成最终输出。神经网络可以包含数千个或更多的处理节点和数百万个或更多的参数。

神经网络的体系结构可以包含输入层、输出层和许多中间层(常被称为隐藏层)。每一层对前一层的输出执行一次计算，其中最后一层(输出层)提供最终结果。通过较多层，神经网络理论上可以进行较复杂的任务，诸如语言翻译和辨别图像的内容(或将其分类)。具有三个以上隐藏层的神经网络有时被称为深度神经网络。深度神经网络可以具有许多隐藏层，诸如，五层到一千以上层。

可以使用中央处理单元(CPU)进行计算来实现神经网络。然而，CPU倾向于为依序计算而不是为并行计算而优化，并且因此可能有较差的响应时间。图形处理单元(GPU)为并行计算而优化，但未必为来自一个计算单元的、将直接提供到另一计算单元的结果而优化。通常，首先必须将结果写入到存储器，并且接着读回。虽然GPU相比CPU可以有较好的响应时间，但是仍然需要改进神经网络的执行时间。最近，已开发出专用集成电路装置，诸如神经网络处理器或加速器，可比CPU或GPU较有效地执行神经网络。与CPU和GPU使用的时间体系结构相反，这些装置包含空间体系结构，其中在空间体系结构中，算术逻辑单元(ALU)可以直接将数据从一个单元传递到另一个单元，而在时间体系结构中，ALU只可以从存储器层次结构中提取数据，而无法直接相互通信。

在训练神经网络进行特定功能时，神经网络的参数(例如，其权重，表示不同处理节点之间的连接的强度)经过多次迭代来进行调整。训练过程涉及向神经网络供应训练数据，该训练数据可以包含训练输入数据和对应的参考输出数据，该参考输出数据可以支持特定决策(例如，图像中的对象的检测或未检测)。神经网络可以进行计算以将权重与训练输入数据组合而生成训练输出数据，并且训练输出数据可以与参考输出数据进行比较以生成误差数据(表示两者之间的差异)。在训练期间，可以将不同训练输入数据提供到神经网络以生成不同训练输出数据。可以基于诸如最小化训练输出数据与参考输出数据之间的差异等目标来调整神经网络的权重。为了提高神经网络生成正确决策的可能性，通常使用覆盖大量操作场景的大量训练输入数据来训练神经网络。因此，训练操作通常需要大量的时间和计算资源。

附图说明

将参照附图来描述根据本公开的各种实施例，其中：

图1展示了神经网络的计算流模型的示例；

图2展示了用于训练神经网络的训练过程的示例；

图3展示了可以进行神经网络的训练过程的示例分布式系统；

图4A～图4C展示了由分布式系统进行的各种示例训练步骤；

图5A～图5C展示了由分布式系统进行的各种示例训练步骤；

图6A和图6B分别展示了对应于图4A～图4C和图5A～图5C的示例时序图；

图7A和图7B分别展示了对应于单模型和多模型神经网络训练的同步方案的示例时序图；

图8A和图8B展示了多模型神经网络训练的示例时序图；