[发明专利]深度神经网络模型的压缩方法及装置、终端、存储介质

权利要求书

1.一种深度神经网络模型的压缩方法，其特征在于，包括：

获取已训练的深度神经网络模型；

分别采用各层对应的预设量化等级，逐层对所述深度神经网络模型中的各层参数进行迭代量化，所述迭代量化为对所述深度神经网络模型中的所有层均进行一次量化；

对所述深度神经网络模型进行N次迭代量化，直至量化后的深度神经网络模型满足预设的压缩体积需求，N≥0；其中，对所述已训练的深度神经网络模型中的第i层参数，进行如下量化处理：

获取第i层对应的预设量化等级，按照所述第i层对应的预设量化等级，对所述已训练的深度神经网络模型中的第i层参数进行量化，i为大于1的自然数；

采用验证集样本对量化后的深度神经网络模型进行测试；

当测试结果显示量化后的深度神经网络模型的精度不满足预设精度阈值时，将第i层参数恢复为量化前的参数；

当测试结果显示量化后的深度神经网络模型的精度满足预设的精度阈值时，继续执行对其他层参数进行量化处理。

2.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，在按照所述第i层对应的预设量化等级对所述已训练的深度神经网络模型中的第i层参数进行量化后，还包括：

获取第i层对应的补偿系数；

根据第i层的补偿系数及量化后的参数，得到第i层补偿后的量化参数，并将补偿后的量化参数作为第i层的量化参数。

3.根据权利要求2所述的深度神经网络模型的压缩方法，其特征在于，所述获取第i层对应的补偿系数，包括：

根据第i层量化前的参数及量化后的参数，计算得到第i层的补偿系数。

4.根据权利要求3所述的深度神经网络模型的压缩方法，其特征在于，所述根据第i层量化前的参数及量化后的参数，计算得到第i层的补偿系数，包括：

采用如下方式计算得到第i层的补偿系数：

其中，α_i为第i层的补偿系数，W_i为量化前的参数，为W_i的转置，Q_i为量化后的参数，为Q_i的转置。

5.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，还包括：

当测试结果显示量化后的深度神经网络模型的精度不满足预设精度阈值，且当前所采用的量化等级达到预设的等级阈值时，将第i层标记为不可继续量化层，使得所述第i层不参与之后的量化处理过程。

6.根据权利要求5所述的深度神经网络模型的压缩方法，其特征在于，还包括：

在对所述深度神经网络模型进行迭代量化过程中，当检测到所述深度神经网络模型中的所有层均被标记为不可继续量化层，且量化后的深度神经网络模型不满足预设的压缩体积需求时，停止对所述深度神经网络模型的量化。

7.根据权利要求5所述的深度神经网络模型的压缩方法，其特征在于，所述对所述深度神经网络模型进行N次迭代量化，直至量化后的深度神经网络模型满足预设的压缩体积需求，包括：

完成一次迭代量化后，检测量化后的深度神经网络模型是否满足所述预设的压缩体积需求；

当量化后的深度神经网络模型不满足所述预设的压缩体积需求时，重新对所述深度神经网络模型中的各层参数进行量化，包括：

获取可继续量化层参数；

当第j层参数可继续量化时，调整量化等级，调整后的量化等级对所述深度神经网络模型的精度影响与调整前的量化等级对所述深度神经网络模型的精度影响不同；

采用调整后的量化等级对第j层参数进行量化；

采用验证集样本对量化后的深度神经网络模型进行测试；

当测试结果显示量化后的深度神经网络模型的精度不满足预设的精度阈值，恢复第j层量化前的参数；

当测试结果显示量化后的深度神经网络模型的精度满足预设的精度阈值时，对所述深度神经网络中的其他可量化层参数进行量化，直至量化后的深度神经网络模型满足所述预设的压缩体积需求。