[发明专利]执行高效3维卷积的神经网络单元

权利要求书

1.一种神经网络单元(NNU)，其特征在于，被配置为将H行乘以W列乘以C个通道的输入与每一个为R行乘以S列乘以C个通道的F个滤波器进行卷积，以生成每一个为Q行乘以P列的F个输出，W、H、C、F、S、R、Q和P是由NNU硬件执行的特定神经网络的超参数，超参数对于NNU执行的不同神经网络是不同的；

所述神经网络单元包括：

至少一个存储器，所述至少一个存储器输出N个权重字或数据字的行，其中N至少为512；

N个处理单元(PU)的阵列，其中所述阵列的每个PU具有：

累加器；

寄存器，所述寄存器被配置为接收来自所述至少一个存储器的行的所述N个权重字或数据字中的相应字；

多路复用寄存器，所述多路复用寄存器被配置为选择性地接收来自所述至少一个存储器输出的行的所述N个权重字或数据字中的相应字，或选择性地接收在逻辑上相邻的PU的多路复用寄存器旋转的字；及

算术逻辑单元，所述算术逻辑单元耦合到所述累加器、寄存器和多路复用寄存器；

其中所述N个PU被逻辑地分为G个块，每一块为B个相应PU，其中B是至少与W一样大的N的最小因数；

对于Q个输出行的每个输出行：

对于R个滤波器行的每个滤波器行：

所述NNU从所述至少一个存储器将所述N个权重字或数据字对应的行读入所述N个多路复用寄存器，所述N个权重字或数据字对应的行被逻辑地分为与所述PU的G个块对应的G个输入块，其中所述G个输入块中的至少C个输入块包括输入的C个通道中的相应通道的行；及

对于C个通道中的至少每个通道：

对于S个滤波器列的每个滤波器列：

所述NNU从所述至少一个存储器将所述N个权重字或数据字对应的行读入所述N个寄存器，所述N个权重字或数据字对应的行被逻辑地分为对应于所述G个输入块的G个滤波器块；

其中G个滤波器块中的F个滤波器块中的每一个滤波器块对应于F个滤波器中的相应滤波器，并且包括在滤波器列和滤波器行以及相应输入块的相应通道的相应滤波器的权重的至少Q个副本分片；

所述阵列的每个PU将所述寄存器和所述多路复用寄存器相乘以生成乘积，并且将所述乘积与所述累加器累加；及

所述NNU旋转所述多路复用寄存器，以将所述G个输入块与B个PU的相邻G个块对准；及

所述NNU将所述N个累加器写入所述至少一个存储器。

2.根据权利要求1所述的神经网络单元，其特征在于，还包括：

所述NNU在对于Q个输出行的每个输出行执行所述寄存器和所述多路复用寄存器的任何乘法之前清零所述累加器。

3.根据权利要求1所述的神经网络单元，其特征在于，还包括：

权重字或数据字中的相应字或在逻辑上相邻的PU的多路复用寄存器旋转的字；

其中所述多路复用寄存器进一步被配置为选择性地接收从除在逻辑上相邻PU之外的一个或多个PU的多路复用寄存器旋转的字；及

所述神经网络单元使所述多路复用寄存器接收从除逻辑上相邻PU之外的一个或多个PU的多路复用寄存器旋转的字，以保证通过所述NNU旋转所述多路复用寄存器，将所述G个输入块与B个PU的相邻G块对准。

4.根据权利要求1所述的神经网络单元，其特征在于，还包括：

其中所述至少一个存储器包括：

第一存储器，所述第一存储器耦合到所述N个多路复用寄存器，所述N个多路复用寄存器中存储有输入的N个权重字或数据字宽度的行；及

第二存储器，所述第二存储器耦合到N个寄存器，所述N个寄存器中存储有所述N个权重字或数据字宽度的行。

5.根据权利要求1所述的神经网络单元，其特征在于，还包括：

其中所述NNU被配置为至少一个存储器，所述至少一个存储器读取所述N个权重字或数据字的整行。

6.如权利要求1所述的神经网络单元，其特征在于，还包括：

其中PU的数量N基于NNU的硬件是静态的，但是W是神经网络的超参数，该神经网络的输入由所述NNU与所述滤波器卷积以生成输出，因此B和G是动态的。