[发明专利]存储高效的神经网络

说明书

本发明公开了存储高效的神经网络。具体地，方法的一个实施例包括使用权重在神经网络中执行一个或更多个激活函数，所述权重已经从浮点值被量化为使用比所述浮点值更少的比特表示的值。该方法还包括在使用训练数据使用神经网络的第一数量的前向‑反向传递更新浮点值之后，执行权重的从浮点值到使用比该浮点值更少的比特表示的值的第一量化。该方法还包括在权重的第一量化之后，在使用神经网络的第二数量的前向‑反向传递更新浮点值之后，执行权重的从浮点值到使用比该浮点值更少的比特表示的值的第二量化。

相关申请的交叉引用

本申请要求2018年9月12日提交的序列号为62/730,508、标题为“训练量化的深度神经网络(Training Quantized Deep Neural Networks)”的美国临时专利申请的优先权权益。该相关申请的主题在此通过引入并入本文。

背景技术

神经网络具有计算密集的层，例如卷积层和/或全连接层。这种神经网络通常使用全精度算法进行训练和部署。全精度算法计算复杂并且具有显着的内存占用，使得神经网络的执行时间和内存密集。

附图说明

因此，可以详细地理解各个实施例的上述特征的方式，可以通过参考各个实施例来获得上面简要概述的发明构思的更具体的描述，其中一些实施例在附图中被示出。然而，应当注意，附图仅示出了本发明构思的典型实施例，因此不应被视为以任何方式限制范围，并且存在其他同样有效的实施例。

图1A示出了被配置为实现各个实施例的一个或更多个方面的系统。

图1B示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑。

图1C示出了根据其他各个实施例的推理和/或训练逻辑。

图2是根据各个实施例的图1的训练引擎和推理引擎的更详细的图示。

图3是根据各个实施例的用于量化神经网络中的权重的方法步骤的流程图。

图4是根据各个实施例的用于量化神经网络中的激活的方法步骤的流程图。

图5是示出被配置为实现各个实施例的一个或更多个方面的计算机系统的框图。

图6是根据各个实施例的包括在图5的并行处理子系统中的并行处理单元(PPU)的框图。

图7是根据各个实施例的包括在图6的并行处理单元(PPU)中的通用处理集群(GPC)的框图。

具体实施方式

在以下描述中，阐述了许多具体细节以提供对各个实施例的更透彻的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一个或更多个的情况下实践本发明构思。

系统总览

图1A示出了被配置为实现各个实施例的一个或更多个方面的计算设备100。在一个实施例中，计算设备100可以是台式计算机、膝上型计算机、智能电话、个人数字助理(PDA)、平板计算机或被配置为接收输入、过程数据和可选地显示图像的任何其他类型的计算设备，并且适于实践一个或更多个实施例。注意，这里描述的计算设备是说明性的，并且任何其他技术上可行的配置都落入本公开的范围内。