[发明专利]受存储器限制的神经网络训练

说明书

本公开提供了用于训练神经网络的方法和系统。在一个示例中，装置包括存储指令的存储器；和硬件处理器，被配置为执行所述指令以：控制神经网络处理器执行损失梯度操作，以生成数据梯度；在所述损失梯度操作完成之后，控制所述神经网络处理器执行正向传播操作，以生成中间输出；基于所述数据梯度和所述中间输出控制所述神经网络处理器执行反向传播操作，以生成权重梯度；从所述神经网络处理器中接收所述权重梯度；以及基于所述权重梯度更新神经网络的权重。

背景技术

人工神经网络是具有基于生物神经网络的架构的计算系统。人工神经网络可以包括权重集。通过计算，可以将权重与输入数据进行合并来提取信息，并基于该信息做出决策。例如，对于用于检测对象的计算机视觉应用程序，人工神经网络可以合并权重与输入图像，以从图像中提取对象的某些特征。人工神经网络可以基于提取的特征生成关于图像中是否存在对象的决策。

可以通过训练过程生成/更新人工神经网络的权重集，其中人工神经网络可以学习如何在应用程序中执行某项计算任务。训练过程涉及向人工神经网络提供训练输入数据，并由支持特定决策(例如，检测或不检测图像中的对象)的参考输出集标记训练输入数据。人工神经网络可以执行计算来合并权重与训练输入数据，以生成训练输出数据集，训练输出数据集可以与参考输出数据集进行对比以生成差异集。在训练期间，可以向人工神经网络提供不同的训练输入数据集来生成不同的训练输出数据集。可以根据目标调整人工神经网络的权重集，例如尽量减少训练输出数据集和参考输出数据集之间的差异。

为了提高人工神经网络生成正确决策的可能性，通常使用包含大量操作场景的大量训练输入数据来训练人工神经网络。因此，训练操作通常需要大量资源，诸如存储器资源。

附图说明

将参考附图描述根据本公开的各种实施例，其中：

图1示出了使用本文公开的技术处理数据的分类设备的示例；

图2A至图2B为示出了根据本公开的某些方面使用本文公开的技术的预测模型和计算的简化框图；

图3A至图3D示出了神经网络训练操作的示例；

图4示出了根据本公开的某些方面用于控制神经网络处理器处的训练操作的训练模块的示例；

图5A至图5B示出了根据本公开的某些方面由图4所示的训练模块控制的训练操作的示例；

图6A至图6E示出了根据本公开的某些方面由图4所示的训练模块控制的训练操作的示例；

图7示出了根据本公开的某些方面由训练模块用于控制训练操作的启发信息的示例；

图8示出了根据本公开的某些方面的训练操作的流程图示例；

图9示出了支持图5A至图6E的训练操作示例的集成电路的示例；和

图10示出了支持图5A至图6E的训练操作示例的主机系统的示例。

具体实施方式

本公开的示例涉及神经网络处理，特别涉及在分布式系统中执行神经网络训练过程。