[发明专利]模型的精度量化方法、装置、电子设备和存储介质

说明书

本发明的实施方式提供了一种模型的精度量化方法、装置、电子设备和存储介质。该模型的精度量化方法包括：获取目标模型中的待量化张量；基于所述待量化张量确定目标量化等级，所述目标量化等级用于指示量化结果所占空间的等级；基于所述目标量化等级对所述待量化张量进行量化，得到量化结果。以解决现有技术中，设备的算力和存储有限，往往会导致模型计算过程中计算效率低，使得运算性能较差的问题。

技术领域

本发明的实施方式涉及计算机技术领域，更具体地，本发明的实施方式涉及模型的精度量化方法、装置、电子设备和存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以神经网络作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。

端侧AI推理相对于云侧，受到网络影响小，对实时性和用户隐私有更好的保障，因此，往往将模型设置于端侧。

但是，由于端侧AI推理受限于设备的算力和存储，因此，往往会导致模型计算过程中计算效率低，使得运算性能较差。

发明内容

本申请提供了一种模型的精度量化方法、装置、电子设备和存储介质，用以解决现有技术中，设备的算力和存储有限，往往会导致模型计算过程中计算效率低，使得运算性能较差的问题。

在本上下文中，本发明的实施方式期望提供一种模型的精度量化方法、装置、电子设备和存储介质。

在本发明实施方式的第一方面中，提供了一种模型的精度量化方法，包括：

获取目标模型中的待量化张量；

基于所述待量化张量确定目标量化等级，所述目标量化等级用于指示量化结果所占空间的等级；

基于所述目标量化等级对所述待量化张量进行量化，得到量化结果。

在本发明的一个实施例中，所述基于所述待量化张量确定目标量化等级，包括：

确定所述待量化张量的绝对值中的第一最大值，以及所述绝对值的平均值；

根据所述第一最大值和所述平均值计算得到所述目标量化等级。

在本发明的一个实施例中，所述基于所述目标量化等级对所述待量化张量进行量化，包括：

从预设的量化等级与量化精度类型的对应关系中，确定所述目标量化等级对应的目标量化精度类型；

将所述待量化张量量化为所述目标量化精度类型的数据。

在本发明的一个实施例中，所述待量化张量为浮点型数据时，所述将所述待量化张量量化为所述目标量化精度类型的数据，包括：

确定所述待量化张量的量化系数，所述量化系数用于指示对浮点型数据的缩放程度；

基于所述量化系数将所述待量化张量进行缩放，得到量化中间值；

将所述量化中间值量化为所述目标量化精度类型的数据。

在本发明的一个实施例中，所述确定所述待量化张量的量化系数，包括：

确定所述待量化张量的绝对值中的第一最大值；

确定所述待量化张量的短整数中的第二最大值；

基于所述第一最大值和所述第二最大值确定所述待量化张量的量化系数。

在本发明的一个实施例中，基于所述目标量化等级对所述待量化张量进行量化，得到量化结果，包括：