[发明专利]神经网络压缩

权利要求书

1.一种非瞬态机器可读存储介质，具有存储于其上的指令，其中所述指令能够由机器执行而使所述机器用于：

访问包括神经网络模型的定义的数据，其中所述神经网络模型包括多个层，并且所述多个层中的每一层包括相应的权重集合；

访问用于在所述神经网络模型的训练中使用的训练数据，其中所述训练包括多个训练迭代；

确定要从所述多个层中的一个特定层中移除的权重子集；

在训练迭代中的一个特定训练迭代的前向轮次期间修剪所述特定层的权重以从所述特定层移除所述权重子集，其中移除所述权重子集导致在所述特定层中剩余经稀疏化的权重子集；

在所述特定训练迭代的前向轮次期间量化所述特定层的至少部分权重的值，其中在所述前向轮次之后，所述特定层包括经量化-稀疏化的权重子集；以及

通过所述训练，基于所述经量化-稀疏化的权重子集生成所述神经网络模型的压缩版本。

2.如权利要求1所述的存储介质，其特征在于，所述权重子集的移除先于所述特定训练迭代的前向轮次中的值的量化。

3.如权利要求1-2中的任一项所述的存储介质，其特征在于，所述指令在被执行时，进一步使所述机器用于：

在所述特定训练迭代的前向轮次期间对所述经量化-稀疏化的权重子集与由所述多个层中的另一层生成的激活进行卷积，以生成所述特定层的激活；以及

在所述特定训练迭代的前向轮次期间量化所述特定层的激活的值。

4.如权利要求1-3中任一项所述的存储介质，其特征在于，所述权重子集基于所述权重子集的、落在阈值之外的值来确定。

5.如权利要求4所述的存储介质，其特征在于，所述指令在被执行时进一步使所述机器用于为所述特定层确定所述阈值，其中用于所述特定层的所述阈值与为所述多个层中的一个或多个其他层确定的阈值不同。

6.如权利要求5所述的存储介质，其特征在于，基于统计度量为所述特定层确定所述阈值，所述统计度量基于所述特定训练迭代处的所述特定层的全精度权重。

7.如权利要求4-6中任一项所述的存储介质，其特征在于，所述指令在被执行时进一步使所述机器用于确定所述阈值，其中所述阈值是针对所述特定训练迭代而被确定的，并且所述阈值被确定为针对多个训练迭代中的另一训练迭代是不同的。

8.如权利要求7所述的存储介质，其特征在于，所述阈值为所述特定层确定，并且为所述特定层确定的阈值与为所述多个层中的一个或多个其他层确定的阈值不同。

9.如权利要求1-8中的任一项所述的存储介质，其特征在于，所述指令在被执行时，进一步使所述机器用于：

标识延迟参数；以及

执行所述神经网络模型的所述训练，其中所述多个训练迭代的第一部分在不进行所述神经网络模型的层的压缩的情况下基于所述延迟参数来执行，并且所述神经网络模型的层的压缩在所述多个训练迭代的所述第一部分完成之后开始，其中所述神经网络模型的层的压缩包括：从所述特定层移除所述权重子集，并且量化所述特定层的所述至少部分权重的值。

10.如权利要求9所述的存储介质，其特征在于，所述延迟参数包括与所述多个训练迭代的所述第一部分相对应的训练迭代的数量。

11.如权利要求1-10中任一项所述的存储介质，其特征在于，权重的值使用最小-最大量化来量化。

12.如权利要求1-11中任一项所述的存储介质，其特征在于，所述神经网络模型的压缩版本包括具有经稀疏化-量化的权重的层，并且所述经稀疏化-量化的权重包括所述神经网络模型的全精度版本中特定的权重子集，并且所述特定的权重子集的值相对于所述全精度版本中的权重的值被量化。