[发明专利]网络模型量化方法、装置、电子设备和存储介质

说明书

本申请涉及人工智能技术领域，提供一种网络模型量化方法、装置、电子设备和存储介质，其中方法包括：缩小处理待处理网络模型的激活值范围，并将激活值范围缩小处理后的待处理网络模型确定为目标网络模型，所述激活值范围是基于所述待处理网络模型的激活值的最大值和激活值的最小值确定的；训练所述目标网络模型，并对训练后的目标网络模型进行模型量化处理。本申请提供的方法、装置、电子设备和存储介质，通过对激活值范围进行缩小处理，解决饱和量化处理模型精度损失较大的问题，最终实现低精度损失的网络模型量化。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种网络模型量化方法、装置、电子设备和存储介质。

背景技术

随着人工智能技术的快速发展，人工智能的应用范围越来越广泛，尤其对于深度神经网络模型而言，其分类、预测和检测能力已超越人类。然而，在神经网络模型的实际部署中，由于模型大且计算复杂度高，导致在算力有限且存储空间有限的边缘设备中无法进行部署。因此，需要对神经网络模型进行模型量化处理，以使模型量化处理后的神经网络模型能够部署于边缘设备。模型量化是一种常用的模型压缩方法，量化模型既可以减少存储又可以减少计算力，还可以提升模型的推理速度，并降低设备功耗。

然而，模型量化处理后的神经网络模型精度较低。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种网络模型量化方法，用以解决饱和量化处理模型精度损失较大的缺陷，实现低精度损失的网络模型量化。

本申请还提供一种网络模型量化装置、电子设备和存储介质。

根据本申请第一方面实施例的网络模型量化方法，包括：

缩小处理待处理网络模型的激活值范围，并将激活值范围缩小处理后的待处理网络模型确定为目标网络模型，所述激活值范围是基于所述待处理网络模型的激活值的最大值和激活值的最小值确定的；

训练所述目标网络模型，并对训练后的目标网络模型进行模型量化处理。

根据本申请实施例的网络模型量化方法，将待处理网络模型的激活值范围进行缩小，从而在对激活值范围缩小处理后的目标网络模型进行重新训练后，该重新训练后的目标网络模型的激活值范围已经被限制在一个较小的范围内，从而可以防止在饱和量化处理过程中，网络模型整体样本激活值变化范围较大而单次模型推理激活值变化范围较小的问题，进而解决饱和量化处理模型精度损失较大的问题，最终实现低精度损失的网络模型量化。

根据本申请的一个实施例，所述缩小处理待处理网络模型的激活值范围，包括：

确定待处理网络模型中满足预设条件的待处理网络层，所述预设条件包括以下至少一项：

所述待处理网络层的反量化处理后的浮点数之间的差异小于预设差异；

所述待处理网络层的反量化处理后的浮点数与所述待处理网络层的激活值相比得到的误差大于预设误差；

其中，所述反量化处理后的浮点数为对所述待处理网络层的激活值进行量化处理后再进行反量化处理得到的浮点数；

缩小处理所述待处理网络层的激活值范围。

根据本申请实施例的网络模型量化方法，确定待处理网络模型中激活值范围符合预设条件的待处理网络层，从而只需对符合预设条件的网络层进行激活值范围缩小处理，即只需对激活值范围过大的网络层进行激活值范围缩小处理，相比对所有网络层进行激活值范围缩小处理，本申请实施例最终得到的网络模型精度更高，同时，对待处理网络模型的激活值范围进行缩小处理的效率更高。因此，本申请实施例可以进一步降低网络模型量化的精度损失，并提高网络模型量化的效率。

根据本申请的一个实施例，所述反量化处理后的浮点数是通过如下方式确定的：