[发明专利]一种自适应量化方法及装置、设备、介质

权利要求书

1.一种自适应量化方法，其特征在于，包括：

分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移；

计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数；

根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果。

2.如权利要求1所述的方法，其特征在于，所述分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移，具体包括：

针对多个原始输入张量中的每个原始输入张量，执行：确定该原始输入张量的最值，根据该最值，对该原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移。

3.如权利要求2所述的方法，其特征在于，所述计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数，具体包括：

根据所述多个原始输入张量分别的最值，确定综合的最值；

根据所述综合的最值，计算综合的量化缩放系数和量化偏移；

根据所述综合的量化缩放系数和所述第一量化处理过程中使用的量化缩放系数，计算自适应量化系数。

4.如权利要求1所述的方法，其特征在于，所述多个原始输入张量来自同一个算数逻辑单元ALU，所述方法是针对多个不同的ALU中的每个ALU执行的。

5.如权利要求2所述的方法，其特征在于，所述根据该最值，对该原始输入张量进行第一量化处理，具体包括：

根据该最值中的最小值和指定的量化值域的最小值，利用第一函数，对该原始输入张量进行第一量化处理；

所述第一函数包含相应的量化缩放系数，以及浮点数转定点数的转换逻辑。

6.如权利要求5所述的方法，其特征在于，所述计算该定点数形式的输入张量的量化偏移，具体包括：

根据该最值中的最小值和所述指定的量化值域的最小值，利用第二函数，计算该定点数形式的输入张量的量化偏移；

所述第二函数包含所述相应的量化缩放系数，以及浮点数转定点数的转换逻辑。

7.如权利要求5或者6所述的方法，其特征在于，所述相应的量化缩放系数根据该最值和/或所述指定的量化值域的最值计算得到。

8.如权利要求3所述的方法，其特征在于，所述根据所述综合的最值，计算综合的量化缩放系数和量化偏移，具体包括：

根据所述综合的最值和指定的量化值域的最值，计算综合的量化缩放系数和量化偏移。

9.如权利要求3所述的方法，其特征在于，所述根据所述综合的量化缩放系数和所述第一量化处理过程中使用的量化缩放系数，计算自适应量化系数，具体包括：

利用对数坐标系，对所述综合的量化缩放系数与所述第一量化处理过程中使用的量化缩放系数之间的比例关系进行转换；

根据所述转换后的比例关系，计算一个或者多个自适应量化系数；

其中，在所述计算的过程中，使用了浮点数转定点数的转换逻辑和/或用于保留精度的系数。

10.如权利要求7所述的方法，其特征在于，所述相应的量化缩放系数按照公式计算得到；

其中，表示原始输入张量X_i相应的量化缩放系数，Q_low表示所述指定的量化值域的最小值，Q_high表示所述指定的量化值域的最大值，X_mini表示X_i的最小值，X_maxi表示X_i的最大值。