[发明专利]用于量化浮点神经网络以获得定点神经网络的方法和设备

权利要求书

1.一种使用量化器来量化浮点机器学习网络以获得定点机器学习网络的方法，包括：

至少部分地基于所述浮点机器学习网络的输入分布的至少一个矩来确定用于量化所述浮点机器学习网络的值的量化器参数以获得所述定点机器学习网络的对应值。

2.如权利要求1所述的方法，其特征在于，所述浮点机器学习网络的所述输入分布的所述至少一个矩包括所述输入分布的平均数。

3.如权利要求2所述的方法，其特征在于，进一步包括：

移位激活值以针对所述定点机器学习网络的每一层创建零均值分布；以及

将应用于经移位的激活值的任何非线性函数的坐标移位与所述经移位的激活值相对应的量。

4.如权利要求1所述的方法，其特征在于，所述浮点机器学习网络的所述输入分布的所述至少一个矩包括所述输入分布的方差。

5.如权利要求1所述的方法，其特征在于，用于量化所述浮点机器学习网络的值的所述量化器参数包括所述定点机器学习网络的最大动态编码范围。

6.如权利要求1所述的方法，其特征在于，用于量化所述浮点机器学习网络的值的所述量化器参数包括量化器步长。

7.如权利要求6所述的方法，其特征在于，进一步包括，至少部分地基于来自所述浮点机器学习网络的偏置、权重、和/或激活值的平均数值和标准偏差来确定用于所述偏置、所述权重、和/或所述激活值的所述量化器的所述量化器步长。

8.如权利要求1所述的方法，其特征在于，用于量化所述浮点机器学习网络的值的所述量化器参数包括位宽。

9.如权利要求1所述的方法，其特征在于，用于量化所述浮点机器学习网络的值的所述量化器参数包括有符号或无符号的指示符值。

10.如权利要求1所述的方法，其特征在于，所述定点机器学习网络的对应值包括偏置、权重、和/或激活值。

11.一种将第一机器学习网络转换成第二机器学习网络的方法，包括：

将所述第一机器学习网络的激活值的分布的平均数值纳入到所述第二机器学习网络的网络偏置中。

12.如权利要求11所述的方法，其特征在于，所述第二机器学习网络的每一层的激活值具有约为零的平均数。

13.如权利要求11所述的方法，其特征在于，进一步包括，与确定所述第二机器学习网络的输出层的网络偏置不同地确定内部层的网络偏置。

14.如权利要求11所述的方法，其特征在于，进一步包括，在所述平均数值被纳入到所述网络偏置中时修改非线性激活函数。

15.如权利要求11所述的方法，其特征在于，所述第一机器学习网络包括浮点神经网络，而所述第二机器学习网络包括定点神经网络。

16.一种用于使用量化器来量化浮点机器学习网络以获得定点机器学习网络的设备，包括：

用于选择所述浮点机器学习网络的输入分布的至少一个矩的装置；以及

用于至少部分地基于所述浮点机器学习网络的所述输入分布的至少一个所选矩来确定用于量化所述浮点机器学习网络的值的量化器参数以获得所述定点机器学习网络的对应值的装置。

17.如权利要求16所述的设备，其特征在于，所述浮点机器学习网络的所述输入分布的所述至少一个矩包括所述输入分布的平均数或所述输入分布的方差。

18.如权利要求16所述的设备，其特征在于，用于量化所述浮点机器学习网络的值的所述量化器参数包括所述定点机器学习网络的最大动态编码范围、位宽、有符号或无符号指示符值、和/或量化器步长。

19.如权利要求18所述的设备，其特征在于，进一步包括，用于至少部分地基于来自所述浮点机器学习网络的偏置、权重、和/或激活值的平均数值和标准偏差来确定用于所述偏置、所述权重、和/或所述激活值的所述量化器的所述量化器步长的装置。

20.如权利要求16所述的设备，其特征在于，所述定点机器学习网络的对应值包括偏置、权重、和/或激活值。