[发明专利]灵活精度的神经推理处理单元

说明书

提供了神经推理芯片。神经推理芯片的神经核心包括向量‑矩阵乘法器；向量处理器；以及激活单元，其操作地耦合到该向量处理器。该向量‑矩阵乘法器、向量处理器和/或激活单元适于以可变精度操作。

技术领域

本公开的实施例涉及神经网络处理单元，并且更具体地涉及灵活精度的神经推理处理单元。

背景技术

人工神经元是一种数学函数，其输出是其输入的线性组合的非线性函数。如果一个神经元的输出是另一个神经元的输入，则两个神经元被连接。权重是对在一个神经元的输出与另一个神经元的输入之间的连接的强度进行编码的标量值。

神经元通过将非线性激活函数应用于其输入的加权和来计算其输出，称为激活。加权和是通过将每个输入乘以相应的权重并累加乘积而计算的中间结果。部分和是输入子集的加权和。可以通过累加一个或多个部分和而分阶段计算所有输入的加权和。

神经网络是一个或多个神经元的集合。神经网络通常被分成神经元组，称为层。层是一个或多个神经元的集合，该一个或多个神经元全部从相同层接收输入并且全部向相同层发送输出，并且通常执行类似的功能。输入层是从神经网络外部的源接收输入的层。输出层是向神经网络外部的目标发送输出的层。所有其它层是中间处理层。多层神经网络是具有多于一层的神经网络。深度神经网络是具有多个层的多层神经网络。

张量是数值的多维阵列。张量块是张量中的元素的连续子阵列。

每个神经网络层与参数张量V、权重张量W、输入数据张量X、输出数据张量Y和中间数据张量Z相关。参数张量包含控制在层中的神经元激活函数σ的所有参数。权重张量包含将输入连接到层的所有权重。输入数据张量包含该层作为输入消耗的所有数据。输出数据张量包含该层计算为输出的所有数据。中间数据张量包含层作为中间计算产生的任何数据，例如部分和。

层的数据张量(输入，输出和中间量)可以是3维的，其中前二维可以被解释为编码空间位置，第三维可以被解释为编码不同特征。例如，当数据张量表示彩色图像时，前二维编码图像内的垂直和水平坐标，并且第三维编码每个位置处的颜色。输入数据张量X的每个元素可以通过分开的权重被连接到每个神经元，因此权重张量W通常具有6个维度，将输入数据张量的3个维度(输入行a，输入列b，输入特征c)与输出数据张量的3个维度(输出行i，输出列j，输出特征k)连接。中间数据张量Z具有与输出数据张量Y相同的形状。参数张量V将3个输出数据张量维度与对激活函数σ的参数进行索引的附加维度o串联起来。

层的输出数据张量Y的元素可以如等式1中那样计算，其中神经元激活函数σ由激活函数参数V[i，j，k，：]的向量配置，并且加权和Z[i，j，k]可以如等式2中那样计算。

Y[i，j，k]＝σ(V[i，j，k，：]；Z[i，j，k])

等式1

等式2

为了简化符号，等式2中的加权和可以被称为输出，其等效于使用线性激活函数Y[i，j，k]＝σ(Z[i，j，k])＝Z[i，j，k]，应当理解，当使用不同的激活函数时，相同的陈述适用而不失一般性。然而，需要神经推理的灵活精度。因此，在本领域中需要解决上述问题。

发明内容