[发明专利]低时延矩阵乘法部件

权利要求书

1.一种布置在矩阵乘法部件的阵列中的多个单元中的单元，所述单元包括：

权重移位寄存器，被配置为经由两个移位链接收神经网络的权重值，其中所述权重移位寄存器中的每个权重移位寄存器仅连接到所述两个移位链路中的一个移位链；

耦合到所述权重移位寄存器的权重矩阵寄存器，所述权重矩阵寄存器被配置为存储从所述权重移位寄存器接收的权重值；和

耦合到所述权重矩阵寄存器的乘法部件，所述乘法部件被配置为从所述权重矩阵寄存器接收所述权重值中的至少一个权重值，所述乘法部件被配置成从矢量寄存器接收数据输入，所述乘法部件被配置成将所述至少一个权重值与所述数据输入相乘以确定乘法结果。

2.根据权利要求1所述的单元，其中，所述阵列是二维阵列。

3.根据权利要求1所述的单元，其中，所述多个单元被布置在所述阵列的多个列中。

4.根据权利要求1所述的单元，其中：

当所述权重值能够从所述矢量寄存器获得时，经由所述两个移位链，将所述权重值从所述矢量寄存器成对地传输到所述权重移位寄存器；和

当所述权重值不能从所述矢量寄存器获得时，从保持寄存器接收所述权重值。

5.根据权利要求4所述的单元，其中：

当所述权重值能够从所述矢量寄存器获得时，在时钟周期上将所述权重值中的至少一对移位到所述权重移位寄存器。

6.根据权利要求4所述的单元，其中

当所述权重值不能从所述矢量寄存器获得时：

在所述权重值中的第一权重值变为能够获得的第一时钟周期上，向所述保持寄存器加载所述第一权重值作为保持值，在所述第一时钟周期没有经由所述两个移位链传输所述保持值；和

在随后时钟周期上，当所述权重值中的第二权重值变为能够获得时，所述第二权重值和所述保持值经由两个移位链被传输到所述权重移位寄存器，所述两个移位链路中的每个移位链传输对应的保持值。

7.根据权利要求4所述的单元，其中，所述矢量寄存器被配置为将所述权重值存储为四个8位整数的打包集合。

8.根据权利要求7所述的单元，其中：

所述两个移位链中的每个移位链在所述移位链上的不同位置处具有两个注入点，以用于注入所述权重值，所述两个注入点是第一注入点和第二注入点；

所述四个8位整数中的两个是在所述第一注入点处注入的；和

所述四个8位整数中的另外两个是在所述第二注入点注入的。

9.根据权利要求1所述的单元，其中：

当所述权重值是在所述权重矩阵寄存器中时，由所述乘法部件使用所述权重值来计算额外的乘法结果；和

在计算所述附加乘法结果期间，在准备在所述附加乘法结果之后计算进一步的乘法结果时，将附加权重值传输到所述权重移位寄存器中。

10.一种由布置在阵列中的多个单元中的单元执行的方法，所述方法包括：

通过所述单元内的权重移位寄存器，经由两个移位链接收神经网络的权重值；

通过所述权重移位寄存器，向所述单元内的权重矩阵寄存器传输所述权重值；

通过所述权重矩阵寄存器，存储所述权重值；

通过所述权重矩阵寄存器，将所述权重值中的至少一个权重值传输到所述单元内的乘法部件；

通过所述乘法部件从矢量寄存器接收数据输入；和

通过耦合到所述权重矩阵寄存器的乘法部件，将所述至少一个权重值与所述数据输入相乘。

11.根据权利要求10所述的方法，其中，所述阵列是二维阵列。

12.根据权利要求10所述的方法，其中，所述多个单元被布置在所述阵列的多个列中。