[发明专利]灵活精度的神经推理处理单元

权利要求书

1.一种包括神经核心的神经推理芯片，所述神经核心包括：

向量-矩阵乘法器，其适于接收具有权重矩阵精度的权重矩阵，接收具有输入激活向量精度的输入激活向量，以及通过将所述输入激活向量乘以所述权重矩阵来计算部分和向量，所述部分和向量具有部分和向量精度；

向量处理器，其适于从一个或多个向量源接收一个或多个部分和向量，并且对所述一个或多个部分和向量执行一个或多个向量函数以产生向量处理器输出向量，所述一个或多个向量源包括所述向量-矩阵乘法器，所述向量处理器输出向量具有等于所述部分和向量精度的精度；以及

激活单元，其操作地耦合到所述向量处理器并且适于将激活函数应用于所述向量处理器输出向量，从而产生具有输出激活精度的输出激活向量，其中，所述向量矩阵乘法器、向量处理器和/或激活单元适于以可变精度操作。

2.根据权利要求1所述的神经推理芯片，还包括：

将所述神经核心与至少一个附加神经核心互连的至少一个网络，所述至少一个网络被适配成以可变精度向所述神经核心递送突触权重和/或输入激活。

3.根据权利要求2所述的神经推理芯片，其中，所述至少一个网络还适于改变所述权重矩阵精度和维度、输入激活向量精度和维度、和/或所述输出激活向量精度和维度，同时保持恒定带宽。

4.根据前述权利要求中任一项所述的神经推理芯片，其中，所述神经核心还包括：

至少一个存储器，所述至少一个存储器适于以可变精度存储权重矩阵、输入激活向量和/或输出激活向量。

5.根据权利要求4所述的神经推理芯片，其中，所述至少一个存储器还适于改变所述权重矩阵精度和维度、输入激活向量精度和维度、和/或所述输出激活向量精度和维度，同时保持恒定的存储利用。

6.根据前述权利要求中任一项所述的神经推理芯片，其中所述向量-矩阵乘法器还适于改变所述权重矩阵精度和维度和/或所述输入激活向量精度和维度，同时保持恒定带宽。

7.如权利要求6所述的神经推理芯片，其中，所述向量矩阵乘法器还适于以可变精度计算每周期的可变数目的乘法，其中所述每周期的可变数目的乘法和可变精度成反比。

8.根据前述权利要求中任一项所述的神经推理芯片，其中，所述激活函数适于对所述向量处理器输出向量重新定范围。

9.权利要求8的神经推理芯片，其中，应用所述激活函数包括应用饱和函数。

10.权利要求9的神经推理芯片，其中，所述饱和函数具有对应于所述输出激活精度的至少一个边界。

11.根据权利要求8所述的神经推理芯片，其中，应用所述激活函数包括截断一个或多个最低有效比特。

12.根据前述权利要求中任一项所述的神经推理芯片，其中，所述可变精度选自2比特、4比特、8比特、16比特和32比特。

13.根据前述权利要求中任一项所述的神经推理芯片，其中，所述可变精度在运行时是可选择的。

14.根据前述权利要求中任一项所述的神经推理芯片，其中，所述可变精度对于神经网络的每层是可选择的。

15.根据前述权利要求中任一项所述的神经推理芯片，其中，所述权重矩阵精度等于所述激活向量精度。

16.根据权利要求15所述的神经推理芯片，其中，所述部分和向量精度不等于所述输出激活精度。

17.根据前述权利要求中任一项所述的神经推理芯片，其中，所述部分和向量精度高于所述权重矩阵精度和/或所述激活向量精度。