[发明专利]专用神经网络训练芯片

权利要求书

1.一种用于训练神经网络的专用硬件芯片，其特征在于，所述专用硬件芯片包括：

标量处理器，被配置为控制所述专用硬件芯片的计算操作；

向量处理器，被配置为具有向量处理单元的二维阵列，所述向量处理单元全部以单指令、多数据方式执行相同的指令，并且通过所述向量处理器的加载和存储指令彼此通信；

矩阵乘法单元，被耦合到所述向量处理器，所述矩阵乘法单元被配置为将至少一个二维矩阵与另一个一维向量或二维矩阵相乘，以便获得乘法结果；以及

归约和置换单元，被配置为进行数的归约，并且对向量阵列的不同通道之间的数进行置换。

2.根据权利要求1所述的专用硬件芯片，其特征在于，还包括：

向量存储器，被配置为向所述向量处理器提供快速专用存储器。

3.根据权利要求1所述的专用硬件芯片，其特征在于，还包括：

标量存储器，被配置为向所述标量处理器提供快速专用存储器。

4.根据权利要求1所述的专用硬件芯片，其特征在于，还包括：

转置单元，被配置为进行矩阵的转置操作。

5.根据权利要求1所述的专用硬件芯片，其特征在于，还包括：

高带宽存储器，被配置为存储所述专用硬件芯片的数据。

6.根据权利要求1所述的专用硬件芯片，其特征在于，还包括稀疏计算核。

7.根据权利要求1所述的专用硬件芯片，其特征在于，还包括：

接口；以及

芯片间互连，所述芯片间互连将所述专用硬件芯片上的所述接口或资源连接到其他专用硬件芯片或资源。

8.根据权利要求7所述的专用硬件芯片，其特征在于，还包括：

多个高带宽存储器；其中，所述芯片间互连将所述接口和所述高带宽存储器连接到其他专用硬件芯片。

9.根据权利要求7所述的专用硬件芯片，其特征在于，所述接口是主计算机的主机接口。

10.根据权利要求7所述的专用硬件芯片，其特征在于，所述接口是主计算机的网络的标准网络接口。

11.根据权利要求7所述的专用硬件芯片，其特征在于，包括：

标量存储器，向量存储器，所述标量处理器，所述向量处理器，和所述矩阵乘法单元，其中所述标量处理器进行VLIW指令获取/执行循环并控制所述专用硬件芯片，其中在获取和解码指令束之后，所述标量处理器本身使用所述标量处理器和标量存储器的多个多位寄存器，仅执行在所述束的标量槽中找到的指令，其中标量指令集包括在地址计算、加载/存储指令和分支指令中使用的算术运算，并且其中剩余的指令槽对用于所述向量处理器和所述矩阵乘法单元的指令进行编码。