[发明专利]具有用于执行高效3维卷积的存储器布局的神经网络单元

权利要求书

1.一种神经网络单元(NNU)，其特征在于，被配置为将H行乘以W列乘以C个通道的输入与每一个为R行乘以S列乘以C个通道的F个滤波器进行卷积，以生成每一个为Q行乘以P列的F个输出，W、H、C、F、S、R、Q和P是由NNU硬件执行的特定神经网络的超参数，超参数对于NNU执行的不同神经网络是不同的；

所述神经网络单元包括：

N个处理单元(PU)的阵列，其中所述N个PU被逻辑地分为G个PU块，每一PU块为B个PU，包括G个输入块、G个滤波器块；

第一存储器，所述第一存储器被配置为保存所述G个输入块的N个数据字的行，其中每个输入块为B个字；

第二存储器，所述第二存储器被配置为保存所述G个滤波器块的N个权重字的行，其中每个滤波器块为B个字；

其中B是大于W的N的最小因数，及其中N至少为512；

其中所述阵列的每个PU具有：

累加器；

寄存器，所述寄存器被配置为接收来自所述第二存储器的行的N个权重字中的相应字；

多路复用寄存器，所述多路复用寄存器被配置为选择性地接收来自所述第一存储器输出的行的N个数据字中的相应字，或选择性地接收从逻辑上相邻的PU的多路复用寄存器旋转的字；及

算术逻辑单元，所述算术逻辑单元耦合到所述累加器、寄存器和多路复用寄存器；

其中，所述输入块被保存在所述第一存储器的H行中，其中所述第一存储器的所述H行的每行保存所述输入的H行中的对应行的相应的二维水平分片，其中，所述相应的二维水平分片被保存在所述G个输入块中的至少C个输入块中，其中所述至少C个输入块的每个输入块保存由所述C个通道中的相应通道指定的二维水平分片的字的行；

其中，所述滤波器块被保存在所述第二存储器的R×S×C行中，其中，在每行的G个滤波器块中选择F个滤波器块中的每一个滤波器块，保存在对应的滤波器的相应行和相应列以及相应通道的F个滤波器中的对应滤波器的权重的P个副本分片；及

其中，所述G个PU块从所述第一存储器读取至少C个所述输入块中的H行中的每一行，并围绕所述N个PU旋转所述行，执行乘法累加运算，使得在所述G个PU块选择F个PU块中的每一个PU块在从所述第一存储器读取所述H行中的另一行之前，接收所述行的至少所述C个输入块中的每一输入块。

2.根据权利要求1所述的神经网络单元，其特征在于，

所述G个PU块，所述NNU旋转所述多路复用寄存器：

(a)执行S次旋转以及S次乘法累加运算；

(b)执行一次或多次旋转，以将所述输入块与下一个相邻的PU块对准；及

(c)针对所述行的至少所述C个输入块中的每一个所述输入块重复操作(a)和(b)。

3.根据权利要求2所述的神经网络单元，其特征在于，

所述G个PU块进一步：

(d)执行从所述第一存储器读取至少C个所述输入块的H行中的一行；

(e)执行操作(a)、(b)和(c)；

(f)针对从所述H行中选择R行的组，重复操作(d)和(e)R次后，将结果写入所述第一存储器或第二存储器的行。

4.根据权利要求3所述的神经网络单元，其特征在于，

(h)针对从所述H行中选择R行的Q个不同组，重复操作(d)至(g)Q次。

5.根据权利要求2所述的神经网络单元，其特征在于，

所述G个PU块进一步：

从所述第二存储器读取权重的行，用于所述乘法累加运算。

6.根据权利要求5所述的神经网络单元，其特征在于，

其中对于所述F个PU块的每一个PU块，指定由所述输入块保存的所述二维水平分片的权重字或数据字的行的相应通道，对应于从保存权重的P个副本分片的所述第二存储器读取的行的所述G个滤波器块中选择的F个滤波器块的相应通道，其中在所述输入块上执行操作(a)的所述S次旋转以及S次乘法累加运算。