[发明专利]具有用于执行高效3维卷积的存储器布局的神经网络单元

摘要

一种神经网络单元，将H×W×C输入与F个R×S×C滤波器进行卷积以生成F个Q×P输出。N个处理单元(PU)各自具有寄存器和多路复用寄存器，其中寄存器接收第二存储器的N个字行中的相应字，多路复用寄存器选择性地接收来自第一存储器的N个字行的相应字或从相邻的PU的多路复用寄存器旋转的字。H个第一存储器行保存相应2维输入行片的每一个通道中的B个字的输入块。R×S×C第二存储器保存B个字的滤波器块，每个滤波器块保存滤波器权重的P个副本。B是大于W的N的最小因数。PU块以列‑通道‑行顺序对输入块和滤波器块执行乘法‑累加运算；它们读取输入块的一行并在执行乘法‑累加运算期间围绕N个PU旋转所述行，使得每个PU块在读取另一行之前接收每一个输入块。

主权项

一种神经网络单元(NNU)，被配置为将H行乘以W列乘以C个通道的输入与每一个为R行乘以S列乘以C个通道的F个滤波器进行卷积，以生成每一个为Q行乘以P列的F个输出，所述神经网络单元包括：第一存储器，所述第一存储器被配置为保存逻辑地分为G个输入块的N个字的行，其中每个输入块为B个字；第二存储器，所述第二存储器被配置为保存逻辑地分为G个滤波器块的N个字的行，其中每个滤波器块为B个字；其中B是大于W的N的最小因数，及其中N至少为512；N个处理单元(PU)的阵列，其中所述阵列的每个PU具有：累加器；寄存器，所述寄存器被配置为接收来自所述第二存储器的行的N个字中的相应字；多路复用寄存器，所述多路复用寄存器被配置为选择性地接收来自所述第一存储器的行的N个字中的相应字或从逻辑上相邻的PU的多路复用寄存器旋转的字；及算术逻辑单元，所述算术逻辑单元耦合到所述累加器、寄存器和多路复用寄存器，其中所述N个PU被逻辑地分为G个PU块，每一PU块为B个PU；其中所述输入块被保存在所述第一存储器的H行中，其中所述第一存储器的所述H行的每行保存所述输入的H行中的对应行的相应的2维片，其中，所述相应的2维片被保存在所述G个输入块中的至少C个输入块中，其中所述至少C个输入块的每个输入块保存由所述C个通道中的相应通道指定的2维片的字的行；其中所述滤波器块被保存在所述第二存储器的R×S×C行中，其中所述第二存储器的所述R×S×C行的每行的G个滤波器块中的F个滤波器块中的每一个保存在对应的滤波器的相应行和相应列以及相应通道的F个滤波器中的对应滤波器的权重的P个副本；及其中为了将所述输入与所述滤波器进行卷积，所述G个PU块以列‑通道‑行顺序对所述输入块和滤波器块执行乘法‑累加运算，其中所述G个PU块从所述第一存储器读取所述至少C个输入块中的H行中的一行，并且在执行一部分乘法‑累加运算期间围绕所述N个PU旋转所述行，使得所述G个PU块中的F个中的每一个在从所述第一存储器读取所述H行中的另一行之前接收所述行的所述至少C个输入块中的每一输入块。