[发明专利]神经网络模型的量化方法、电子设备及可读存储介质

权利要求书

1.一种神经网络模型的量化方法，用于电子设备，其特征在于，包括：

确定量化的神经网络模型的预设结构，其中，所述预设结构包括线性算子和非线性算子，所述量化的神经网络模型中各算子独立量化；

在所述非线性算子的类型为第一类型的情况下，将所述线性算子的至少一个输入数据的量化参数融合到所述非线性算子的第一浮点数权重数据中，确定第二浮点数权重数据；

对所述第二浮点数权重数据进行量化，确定定点数权重数据；

根据所述定点数权重数据和所述线性算子的至少一个定点数输入数据的线性运算结果，进行与所述非线性算子功能对应的非线性运算，确定浮点数运算结果；

对所述浮点数运算结果进行量化，生成定点数运算结果。

2.根据权利要求1所述的方法，其特征在于，所述线性算子包括用于连接至少一个输入数据的连接算子，所述非线性算子包括用于实现卷积运算的卷积算子，所述量化参数包括缩放系数。

3.根据权利要求2所述的方法，其特征在于，根据所述定点数权重数据和所述线性算子的至少一个定点数输入数据的线性运算结果，进行与所述非线性算子功能对应的非线性运算，确定浮点数运算结果，包括：

根据所述定点数权重数据、所述连接算子的至少一个定点数输入数据的连接结果和第一定点数偏置数据，进行与所述卷积算子功能对应的卷积运算，确定卷积运算的浮点数运算结果。

4.根据权利要求3所述的方法，其特征在于，所述第一定点数偏置数据通过对所述卷积算子的浮点数偏置数据使用所述定点数权重数据对应的缩放系数进行量化得到。

5.根据权利要求1所述的方法，其特征在于，该方法还包括：

在所述非线性算子的类型为第二类型的情况下，将所述线性算子的至少一个输入数据的量化参数与所述非线性算子在每个通道上的量化参数进行融合，确定融合的量化参数，其中，所述非线性算子在每个通道上进行量化；

根据所述非线性算子在每个通道上的定点数权重数据、所述线性算子的至少一个定点数输入数据的线性运算结果和所述融合的量化参数，进行与所述非线性算子功能对应的非线性运算，确定浮点数运算结果。

6.根据权利要求5所述的方法，其特征在于，所述线性算子包括用于连接至少一个输入数据的连接算子，所述非线性算子包括用于实现卷积运算的卷积算子，所述量化参数包括缩放系数。

7.根据权利要求6所述的方法，其特征在于，根据所述非线性算子在每个通道上的定点数权重数据、所述线性算子的至少一个定点数输入数据的线性运算结果和所述融合的量化参数，进行与所述非线性算子功能对应的非线性运算，确定浮点数运算结果，包括：

根据所述卷积算子在每个通道上的定点数权重数据、所述连接算子的至少一个定点数输入数据的连接结果、所述融合的量化参数和第二定点数偏置数据，进行与所述卷积算子功能对应的深度卷积运算，确定深度卷积运算的浮点数运算结果。

8.根据权利要求7所述的方法，其特征在于，所述第二定点数偏置数据通过对所述卷积算子的浮点数偏置数据使用所述融合的量化参数得到。

9.一种电子设备，其特征在于，包括：

存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及

处理器，是电子设备的处理器之一，用于执行权利要求1-8中任一项所述的神经网络模型的量化方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，该指令在计算机上执行时使计算机执行权利要求1-8中任一项所述神经网络模型的量化方法。

11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令在计算机上执行时使计算机执行权利要求1-8中任一项所述的神经网络模型的量化方法。