[发明专利]专用神经网络训练芯片

说明书

描述了包括用于训练神经网络的专用硬件芯片的方法，系统和装置。专用硬件芯片可以包括标量处理器，被配置为控制专用硬件芯片的计算操作。芯片还包括矢量处理器，被配置为具有矢量处理单元的二维阵列，矢量处理单元全部以单指令多数据方式执行相同的指令，并且通过矢量处理器的加载和存储指令彼此通信。芯片可以另外包括矩阵乘法单元，其耦合到矢量处理器，矩阵乘法单元被配置为将至少一个二维矩阵与另一个一维矢量或二维矩阵相乘以便获得乘法结果。

背景技术

本说明书涉及在硬件中执行神经网络计算。神经网络是机器学习模型，每个模型采用一个或多个模型层来为接收的输入生成例如分类的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中的下一层(即，网络的下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值，从接收的输入生成输出。

发明内容

本说明书描述了与专用硬件芯片相关的技术，该专用硬件芯片是针对，特别是训练阶段的机器学习工作负载优化的可编程线性代数加速器。

通常，本说明书中描述的主题的一个创新方面可以体现在专用的硬件芯片中。

该方面的其他实施例包括记录在一个或多个计算机存储设备上的相应计算机系统，装置和计算机程序，每个计算机系统，装置和计算机程序被配置为执行方法的动作。对于要配置为执行特定操作或动作的一个或多个计算机的系统，意味着系统已在其上安装了软件，固件，硬件或它们的组合，在操作中使系统执行操作或动作。对于要配置为执行特定操作或动作的一个或多个计算机程序，意味着一个或多个程序包括当由数据处理装置执行时使装置执行操作或动作的指令。

前述和其他实施方案可以各自任选地包括一个或多个以下特征，单独或组合。特别地，一个实施例包括组合的所有以下特征。

一种用于训练神经网络的专用硬件芯片，专用硬件芯片包括：标量处理器，被配置为控制所述专用硬件芯片的计算操作；向量处理器，被配置为具有向量处理单元的二维阵列，所述向量处理单元全部以单指令、多数据方式执行相同的指令，并且通过所述向量处理器的加载和存储指令彼此通信；以及矩阵乘法单元，被耦合到所述向量处理器，所述矩阵乘法单元被配置为将至少一个二维矩阵与另一个一维向量或二维矩阵相乘，以便获得乘法结果。

向量存储器，被配置为向所述向量处理器提供快速专用存储器。标量存储器，被配置为向所述标量处理器提供快速专用存储器。转置单元，被配置为进行矩阵的转置操作。归约和置换单元，被配置为进行数的归约并且对向量阵列的不同通道之间的数进行置换。高带宽存储器，被配置为存储所述专用硬件芯片的数据。专用硬件芯片还包括稀疏计算核。

专用硬件芯片还包括：接口；以及芯片间互连，用于将所述专用硬件芯片上的所述接口或资源连接到其他专用硬件芯片或资源。

专用硬件芯片还包括高带宽存储器。芯片间互连将所述接口和所述高带宽存储器连接到其他专用硬件芯片。该接口可以是主计算机的主机接口。该接口可以是主计算机网络的标准网络接口。

本说明书中描述的主题可以在特定实施例中实施，以便实现以下优点中的一个或多个。专用硬件芯片包含除了传统的0维和1维张量计算之外本身支持更高维度张量(即2维和更高)的处理器，同时还针对机器学习的32位或更低精度计算进行了优化。

在附图和以下描述中阐述了本说明书的主题的一个或多个实施例的细节。根据说明书，附图和权利要求，本主题的其他特征，方面和优点将变得显而易见。

附图说明

图1示出了连接专用硬件芯片的示例组合的高速连接的示例拓扑，专用硬件芯片在板上以环形拓扑连接。

图2示出了用于训练神经网络的示例专用硬件芯片的高级图。

图3示出了计算核的高级示例。

图4示出了进行神经网络训练的芯片的更详细的图。