[发明专利]压缩神经网络模型的方法、计算机系统以及存储介质

权利要求书

1.一种压缩神经网络模型的方法，其特征在于，包括：

识别对应于多维张量的至少一个编码树单元，所述多维张量与神经网络相关联；

确定与所述编码树单元相关联的权重系数集；以及

根据确定的权重系数集压缩所述神经网络的模型。

2.根据权利要求1所述的方法，其特征在于，所述确定与所述编码树单元相关联的权重系数集包括：

对权重系数进行量化；以及

选择使得统一损失值最小化的权重系数子集，所述统一损失值与所述权重系数相关联。

3.根据权利要求2所述的方法，其特征在于，进一步包括：

反向传播所述最小化的统一损失值，根据所述反向传播的最小化的统一损失值来训练深度神经网络。

4.根据权利要求2所述的方法，其特征在于，进一步包括：

反向传播所述最小化的统一损失值，根据所述反向传播的最小化的统一损失值，将所述权重系数子集中的至少一个权重系数固定为至少一个值。

5.根据权利要求4所述的方法，其特征在于，进一步包括:

确定与所述权重系数集相关联的梯度和统一掩码，根据所述梯度和所述统一掩码，更新所述权重系数子集中的至少一个非固定权重系数。

6.根据权利要求1所述的方法，其特征在于，进一步包括：

通过对权重系数子集进行量化和熵编码来压缩所述权重系数集。

7.根据权利要求1所述的方法，其特征在于，所述统一的权重系数集包括具有相同绝对值的至少一个权重系数。

8.一种压缩神经网络模型的计算机系统，其特征在于，所述计算机系统包括：

识别模块，用于识别对应于多维张量的至少一个编码树单元，所述多维张量与神经网络相关联；

统一模块，用于确定与所述编码树单元相关联的权重系数集；以及

压缩模块，用于根据确定的权重系数集来压缩所述神经网络的模型。

9.根据权利要求8所述的计算机系统，其特征在于，所述统一模块包括：

量化模块，用于量化所述权重系数；以及

选择模块，用于选择使得统一损失值最小化的权重系数子集，所述统一损失值与所述权重系数相关联。

10.根据权利要求9所述的计算机系统，其特征在于，进一步包括训练模块，所述训练模块用于反向传播所述最小化的统一损失值，根据所述反向传播的最小化的统一损失值来训练深层神经网络。

11.根据权利要求9所述的计算机系统，其特征在于，反向传播所述最小化的统一损失值，根据所述反向传播的最小化的统一损失值，将所述权重系数子集中的至少一个权重系数固定为至少一个值。

12.根据权利要求11所述的计算机系统，其特征在于，进一步包括更新模块，所述更新模块用于确定与所述权重系数集相关联的梯度和统一掩码，根据所述梯度和所述统一掩码，更新所述权重系数子集中的至少一个非固定权重系数。

13.根据权利要求8所述的计算机系统，其特征在于，进一步包括压缩模块，所述压缩模块用于通过对所述权重系数子集进行量化和熵编码来压缩所述权重系数集。

14.一种非易失性计算机可读介质，其特征在于，其上存储有用于压缩神经网络模型的计算机程序，所述计算机程序用于使得至少一个计算机处理器执行如权利要求1-7中任一项所述的方法。

15.一种计算设备，其特征在于，包括处理器和存储器；所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法。