[发明专利]低时延矩阵乘法部件

说明书

公开了低时延矩阵乘法部件。公开了用于实施为单元的脉动阵列的矩阵乘法部件的方法、系统和设备。所述矩阵乘法部件可以包括布置在所述脉动阵列的列中的单元。所述脉动阵列的每一列的两个权重移位寄存器链布置在所述矩阵乘法部件中。每个权重移位寄存器只连接至一个链，并且每个单元只连接至一个权重移位寄存器。每单元的权重矩阵寄存器配置为存储从权重移位寄存器接收到的权重输入。乘法部件耦合至所述权重矩阵寄存器并且配置为将所述权重矩阵寄存器的所述权重输入与矢量数据输入相乘以获得乘法结果。

分案说明

本申请属于申请日为2018年5月17日的中国发明专利申请No.201880004328.7的分案申请。

技术领域

本说明书涉及在硬件中执行神经网络计算。

背景技术

神经网络是采用一个或者多个模型层来生成接收到的输入的输出例如分类的机器学习模型。除了输出层之外，一些神经网络还包括一个或者多个隐藏层。每个隐藏层的输出用作网络中的下一层即网络的下一隐藏层或者输出层的输入。网络的每个层根据相应参数集合的当前值来从接收到的输入生成输出。

发明内容

本说明书描述了各种技术，涉及训练神经网络、计算神经网络推断或者两者的专用硬件电路，并且具体涉及通过增加将权重值加载到矩阵乘法部件内的权重矩阵寄存器中的速率来减少在矩阵乘法部件上的时延的专用硬件电路。

连接脉动阵列以执行矩阵乘法，并且脉动阵列通常在整个阵列中具有统一的结构。脉动阵列的矩阵乘法部件由乘加子部件组成，这些乘加子部件中的每个乘加子部件采取输入操作数，将操作数乘以存储的权重以获得结果，并且将结果添加到部分和以产生新的部分和。

一种用于降低时延的方法是增加将权重加载到乘加部件的速率。

通常，本说明书中所描述的主题的一个创新方面可以体现为训练神经网络、计算神经网络推断或者两者的专用硬件电路。

该方面的其它实施例包括记录在一个或者多个计算机存储装置上的对应计算机系统、设备和计算机程序，每个计算机系统、设备和计算机程序配置为执行方法的动作。对于要配置为执行特定操作或者动作的一个或者多个计算机的系统意味着已经在系统上安装了在操作中使系统执行操作或者动作的软件、固件、硬件或者它们的组合。对于要配置为执行特定操作或者动作的一个或者多个计算机程序意味着一个或者多个程序包括指令，该指令在由数据处理设备执行时使设备执行操作或者动作。

单独地或者组合地，前述以及其它实施例可以分别可选地包括以下特征中的一个或者多个。具体地，一个实施例组合地包括所有以下特征。

一种矩阵乘法部件可以实施为单元的脉动阵列。单元阵列中的每个单元可以包括：权重矩阵寄存器，该权重矩阵寄存器配置为从转置或者非转置权重移位寄存器接收权重输入；转置权重移位寄存器，该转置权重移位寄存器配置为形成水平方向接收要存储在权重矩阵寄存器中的权重输入；非转置权重移位寄存器，该非转置权重移位寄存器配置为从垂直方向接收要存储在权重矩阵寄存器中的权重输入；以及乘法部件，该乘法部件耦合至权重矩阵寄存器并且配置为将权重矩阵寄存器的权重输入与矢量数据输入相乘以获得乘法结果。每个单元可以包括多路复用器，该多路复用器配置为在转置权重移位寄存器和非转置权重移位寄存器的权重输入之间进行选择并且将所选择的权重输入转发至权重矩阵寄存器。

矩阵乘法部件可以包括第一权重保持寄存器，该第一权重保持寄存器配置为保持来自转置权重移位寄存器或者非转置权重移位寄存器的权重值。

矩阵乘法部件可以包括第二权重保持寄存器，该第二权重保持寄存器配置为保持来自转置权重移位寄存器或者非转置权重移位寄存器的权重值。

权重值可以被加载到矩阵乘法部件中，在水平方向上从转置权重移位寄存器加载到第一权重保持寄存器中，并且在垂直方向上从非转置权重移位寄存器加载到第二权重保持寄存器中。