[发明专利]大规模并行神经推理计算元件

说明书

提供了大规模并行神经推理计算元件。多个乘法器被布置成多个相等大小的组。多个乘法器的每一个都适于并行地对输入激活施加权重以产生输出。多个加法器可操作地耦合到多组乘法器中的一个。多个加法器的每一个适于并行地将乘法器的输出加到其相关组，以产生部分和。多个功能块可操作地耦合到多个加法器中的一个。多个功能块的每一个适于并行地将函数应用于其相关的加法器的部分和以生成输出值。

背景技术

本公开的实施例涉及神经网络推理，并且更具体地，涉及大规模并行神经推理计算元件。

发明内容

根据本公开的实施例，提供了用于大规模并行神经推理计算的系统、方法和计算机程序产品。多个乘法器被布置成多个相等大小的组。多个乘法器的每一个都适于并行地对输入激活施加权重以产生输出。多个加法器可操作地耦合到多组乘法器中的一个。多个加法器的每一个适于并行地将乘法器的输出加到其相关组，以产生部分和。多个功能块可操作地耦合到多个加法器中的一个。多个功能块的每一个适于并行地将函数应用于其相关的加法器的部分和以生成输出值。

根据一个方面，提供了一种系统，包括：多个乘法器，该多个乘法器被布置成多个相等大小的组，多个乘法器的每一个适于并行地对输入激活施加权重以产生输出；多个加法器，多个加法器的每一个可操作地耦合到多组乘法器中的一个，多个加法器的每一个适于并行地将乘法器的输出加到其相关组，以产生部分和。

根据一个方面，提供了一种方法，包括：由多个相等大小的乘法器组并行地将多个权重应用于多个输入激活，以为每组乘法器生成多个输出；并行地将来自每组乘法器的多个输出相加，以从每组乘法器生成部分和。

根据一个方面，提供了一种系统，包括：多个乘法器，该多个乘法器布置成多个相等大小的组；多个加法器，多个加法器的每一个可操作地耦合到多组乘法器中的一个；一种计算机可读存储介质，其上包含程序指令，该程序指令可执行以执行一种方法，包括：通过多个乘法器的每一个，并行地对输入激活施加权重以产生输出；通过多个加法器的每一个，并行地将乘法器的输出加到其相关组，以产生部分和。

附图说明

现在将仅通过示例的方式，参考附图来描述本发明的实施例，其中：

图1描绘了根据本公开实施例的多个神经核推理处理器架构。

图2描绘了根据本公开实施例的用于计算部分和的大规模并行向量矩阵乘法器。

图3描绘了根据本公开实施例的树突状(dendrite)电路。

图4描绘了根据本公开的实施例的具有加法器阵列和向量寄存器的向量矩阵乘法器。

图5描绘了根据本公开实施例的具有激活函数的向量矩阵乘法器。

图6描绘了根据本公开实施例的用于激活函数的查找表。

图7A-B描绘了根据本公开实施例的经由分发广播的输入激活。

图8描绘了根据本公开实施例的用于树突状电路的加法器的二进制树。

图9描绘了根据本公开实施例的用于树突状电路的进位保存加法器的树。

图10A-B描绘了根据本公开实施例的由复用器实现的三进制乘法器。

图11描绘了根据本公开实施例的用于向量矩阵乘法的移位器。

图12描绘了根据本公开实施例的神经电路。

图13描绘了根据本公开实施例的使用向量矩阵乘法单元的混洗(shuffle)运算。

图14A-B示出了根据本公开实施例的示例性蝶形网络计算。

图15描绘了根据本公开实施例的使用向量矩阵乘法单元的数据打包运算。