[发明专利]存储高效的神经网络

权利要求书

1.一种处理器，包括：

一个或更多个算术逻辑单元(ALU)，用于使用已经从第一浮点值表示转换为第二浮点值表示的权重在神经网络中执行一个或更多个激活函数，所述第二浮点值表示比所述第一浮点值表示具有更少的比特。

2.如权利要求1所述的处理器，其中所述一个或更多个ALU还通过将所述权重应用于激活输入，来在所述神经网络中执行一个或更多个激活函数，所述激活输入已经从所述第一浮点值表示转换为所述第二浮点值表示。

3.如权利要求1所述的处理器，其中所述权重通过以下方式转换：

在使用训练所述神经网络的第一数量的前向-反向传递来更新所述权重之后，执行所述权重的从所述第一浮点值表示到所述第二浮点值表示的第一量化；以及

在所述权重的所述第一量化之后，在使用训练所述神经网络的第二数量的前向-反向传递来更新所述权重之后，执行所述权重的从所述第一浮点值表示到所述第二浮点值表示的第二量化。

4.如权利要求3所述的处理器，其中基于与训练所述神经网络相关联的偏移超参数来确定所述前向-反向传递的第一数量。

5.如权利要求3所述的处理器，其中基于与训练所述神经网络相关联的频率超参数来确定所述前向-反向传递的第二数量。

6.如权利要求1所述的处理器，其中所述权重通过以下方式转换：

冻结所述神经网络的第一一个或更多个层中的所述权重的第一部分；以及

修改所述神经网络的第二一个或更多个层中的所述权重的第二部分。

7.如权利要求6所述的处理器，其中在修改所述第二一个或更多个层中的所述权重的所述第二部分之前，量化所述第一一个或更多个层的输出。

8.如权利要求6所述的处理器，其中所述权重通过以下方式转换：

在修改所述权重的所述第二部分之后，冻结所述神经网络的第二一个或更多个层中的所述权重的所述第二部分；以及

修改所述第二一个或更多个层之后的所述神经网络的第三一个或更多个层中的所述权重的第三部分。

9.如权利要求6所述的处理器，其中修改所述权重的所述第二部分包括：

至少基于所述第一一个或更多个层的输出来更新所述权重的所述第二部分中的浮点值；以及

将所述权重的所述第二部分从所述第一浮点值表示转换为所述第二浮点值表示。

10.一种方法，包括：

训练一个或更多个神经网络，其中训练所述一个或更多个神经网络包括：将权重参数从第一浮点值表示转换为第二浮点值表示，所述第二浮点值表示比所述第一浮点值表示具有更少的比特。

11.如权利要求10所述的方法，其中转换所述权重参数包括：

在使用训练所述一个或更多个神经网络的第一数量的前向-反向传递来更新所述权重参数之后，执行所述权重参数的从所述第一浮点值表示到所述第二浮点值表示的第一量化；以及

在所述权重参数的所述第一量化之后，在使用训练所述一个或更多个神经网络的第二数量的前向-反向传递来更新所述权重参数之后，执行所述权重参数的从所述第一浮点值表示到所述第二浮点值表示的第二量化。

12.如权利要求11所述的方法，还包括：

基于与训练所述一个或更多个神经网络相关联的偏移超参数来确定所述前向-反向传递的第一数量。

13.如权利要求11所述的方法，还包括：

基于与训练所述一个或更多个神经网络相关联的频率超参数来确定所述前向-反向传递的第二数量。