[发明专利]具有驻留在芯片上的参数的神经网络加速器

权利要求书

1.一种用于加速张量计算的加速器，包括：

a.计算单元；

b.第一存储器组，用于存储输入激活或者输出激活中的至少一个；

c.第二存储器组，用于存储在执行计算中使用的神经网络参数，所述第二存储器组被配置成将足够数量的所述神经网络参数存储在所述计算单元上以允许针对给定神经网络模型和架构的低于指定水平的延时以及高于指定水平的吞吐量；

d.至少一个cell，包括至少一个乘法累加运算器，所述至少一个乘法累加运算器从所述第二存储器组接收参数并且执行计算；

e.第一遍历单元，所述第一遍历单元至少与所述第一存储器组数据通信，所述第一遍历单元被配置成将控制信号提供到所述第一存储器组以使得输入激活被提供到由所述至少一个乘法累加运算器可访问的数据总线；以及

f.其中，所述加速器执行与数据阵列的至少一个元素相关联的一个或多个计算，所述一个或多个计算由所述至少一个乘法累加运算器执行并且部分地包括从所述数据总线接收到的所述输入激活和从所述第二存储器组接收到的参数的乘法运算。

2.根据权利要求1所述的加速器，其中，所述第二存储器组被配置成存储超过100,000个参数。

3.根据权利要求1所述的加速器，其中，所述第二存储器组被配置成存储超过1,000,000个参数。

4.根据权利要求1所述的加速器，其中，所述第二存储器组被配置成存储超过100,000,000个参数。

5.根据权利要求1所述的加速器，其中，所述第二存储器组包括SRAM或3D SRAM。

6.一种用于加速张量计算的加速器，其中，所述加速器包括多个计算单元，每个计算单元包括：

a.第一存储器组，用于存储输入激活或者输出激活中的至少一个；

b.第二存储器组，用于存储在执行计算中使用的神经网络参数，所述第二存储器组被配置成将足够数量的所述神经网络参数存储在所述计算单元上以允许针对给定神经网络模型和架构的低于指定水平的延时以及高于指定水平的吞吐量；

c.至少一个cell，包括至少一个乘法累加运算器，所述至少一个乘法累加运算器从所述第二存储器组接收参数并且执行计算；

d.第一遍历单元，所述第一遍历单元至少与所述第一存储器组数据通信，所述第一遍历单元被配置成将控制信号提供到所述第一存储器组以使得输入激活被提供到由所述至少一个乘法累加运算器可访问的数据总线；以及

e.其中，所述计算单元执行与数据阵列的至少一个元素相关联的一个或多个计算，所述一个或多个计算由所述至少一个乘法累加运算器执行并且部分地包括从所述数据总线接收到的所述输入激活和从所述第二存储器组接收到的参数的乘法运算。

7.一种用于加速张量计算的计算机实现的方法，包括：

a.由第一存储器组响应于所述存储器组从第一遍历单元接收到控制信号而发送第一输入激活，所述第一存储器组被布置在计算单元中，并且其中，所述第一输入激活通过由所述计算单元的至少一个cell可访问的数据总线提供；

b.由所述至少一个cell从用于存储在执行计算中使用的神经网络参数的第二存储器组接收一个或多个参数，所述第二存储器组将足够数量的所述神经网络参数存储在所述计算单元上以允许针对给定神经网络模型和架构的低于指定阈值的延时以及高于指定阈值的吞吐量，并且其中，所述至少一个cell包括至少一个乘法累加运算器；以及

c.由所述至少一个乘法累加运算器执行与数据阵列的至少一个元素相关联的一个或多个计算，其中，所述一个或多个计算部分地包括至少从所述数据总线访问的所述第一输入激活和从所述第二存储器组接收到的至少一个参数的乘法运算。

8.根据权利要求7所述的方法，其中，所述第二存储器组被配置成存储超过100,000个参数。

9.根据权利要求7所述的方法，其中，所述第二存储器组被配置成存储超过1,000,000个参数。