[发明专利]神经网络模型的量化方法、电子设备及可读存储介质

说明书

本申请涉及人工智能领域，公开了一种神经网络模型的量化方法、电子设备及可读存储介质。该方法通过确定量化的神经网络模型的预设结构，预设结构包括线性算子和非线性算子，并在非线性算子的类型为第一类型的情况下，将线性算子的输入数据的量化参数融合到非线性算子的第一浮点数权重数据中，确定第二浮点数权重数据，对第二浮点数权重数据进行量化，确定定点数权重数据，再根据定点数权重数据和线性算子的定点数输入数据的线性运算结果，进行与非线性算子功能对应的非线性运算，确定浮点数运算结果并生成定点数运算结果，从而能够优化算子之间传递数据的处理过程，减少神经网络模型的量化误差，提高神经网络模型的运行性能和计算精度。

技术领域

本申请涉及人工智能领域，特别涉及一种神经网络模型的量化方法、电子设备及可读存储介质。

背景技术

随着人工智能(artificial intelligence，AI)的迅速发展，神经网络模型在人工智能领域的应用越来越广泛，神经网络模型在图像识别、目标检测、增强学习、语义分析等许多领域取得了显著的成果。由于运行神经网络模型的运算单元，例如神经网络处理器(Neural-Network Processing Unit，NPU)，通常为定点运算单元，为提高神经网络模型的运行速度，通常将神经网络模型的各算子进行量化，得到定点运算的神经网络模型，再由电子设备来运行。

神经网络模型中往往包括大量由线性算子和非线性算子组成的网络结构，在对神经网络模型采用全定点量化方案进行量化时，分别对线性算子和非线性算子进行量化，会在量化后的线性算子和非线性算子中引入多次量化误差，导致神经网络模型的运行性能的降低和计算精度的下降。

发明内容

本申请实施例提供了一种神经网络模型的量化方法、电子设备及可读存储介质。电子设备通过将量化神经网络模型中由线性算子和非线性算子组成的网络结构进行算子融合，优化算子之间数据的量化过程，减少神经网络模型的量化误差，提高神经网络模型的运行性能和计算精度。

第一方面，本申请实施例提供了一种神经网络模型的量化方法，用于电子设备，该方法包括：

确定量化的神经网络模型的预设结构，其中，预设结构包括线性算子和非线性算子，量化的神经网络模型中各算子独立量化；

在非线性算子的类型为第一类型的情况下，将线性算子的至少一个输入数据的量化参数融合到非线性算子的第一浮点数权重数据中，确定第二浮点数权重数据；

对第二浮点数权重数据进行量化，确定定点数权重数据；

根据定点数权重数据和线性算子的至少一个定点数输入数据的线性运算结果，进行与非线性算子功能对应的非线性运算，确定浮点数运算结果；

对浮点数运算结果进行量化，生成定点数运算结果。

可以理解，现有的神经网络模型的量化方案是全定点量化，即将模型中各算子进行分别量化，从而导致在输入数据、输出数据和常量数据的量化过程中引入多次量化误差，导致计算资源的浪费和计算精度的下降，然而通过本申请的神经网络模型的量化方法，可以将神经网络模型中大量存在的结构中线性算子和非线性算子进行融合，优化数据的量化过程，从而减少神经网络模型的量化误差，提高神经网络模型的运行性能和计算精度。

通过上述方法，能够识别出神经网络模型中的预设结构，并将结构中线性算子的量化参数融合到非线性算子的浮点数权重数据后再量化得到定点数权重数据，再使用定点数权重数据和线性算子的定点数输入数据的线性运算结果进行非线性运算得到运算结果，从而减少量化误差的引入，避免计算资源的浪费。

在上述第一方面的一种可能的实现中，线性算子包括用于连接至少一个输入数据的连接算子，非线性算子包括用于实现卷积运算的卷积算子，量化参数包括缩放系数。

通过上述方法，可以有针对性识别出可以进行优化的算子组合，进行相应的量化优化。