[发明专利]用于神经网络数据量化的方法、装置和计算机可读存储介质

权利要求书

1.一种用于对神经网络数据进行量化的方法，包括：

确定多组神经网络数据之间关于量化分布的差异；

判断所述差异是否大于预定的阈值；以及

当所述差异大于预定的阈值时，对所述多组神经网络数据的每组神经网络数据分别执行量化操作；或者

当所述差异小于或等于所述预定的阈值时，对所述多组神经网络数据执行统一的量化操作。

2.根据权利要求1所述的方法，进一步包括：

在确定所述差异前，根据所述神经网络的目标层的输出通道来将神经网络数据划分成所述多组神经网络数据。

3.根据权利要求2所述的方法，其中所述目标层是所述神经网络的卷积层或全连接层。

4.根据权利要求1所述的方法，其中所述量化分布的差异基于所述多组神经网络数据中的每组的最大值或绝对值最大值。

5.根据权利要求4所述的方法，其中确定所述多组神经网络数据之间量化分布的差异包括：

选取所述多组神经网络数据中每组的最大值，以获得多个最大值；以及

从所述多个最大值中选取最大值和最小值，并且对所述多个最大值中选取的最大值和最小值求比值，以确定所述差异。

6.根据权利要求4所述的方法，其中确定所述多组神经网络数据之间量化分布的差异包括：

选取所述多组神经网络数据中每组的绝对值最大值，以获得多个绝对值最大值；以及

选取所述多个绝对值最大值中的最大值和最小值，并且对所述多个绝对值最大值中选取的最大值和最小值求比值，以确定所述差异。

7.根据权利要求1所述的方法，其中所述神经网络数据包括所述神经网络的神经元、权值、偏置和梯度中的至少一种数据。

8.根据权利要求1-7的任意一项所述的方法，其中所述量化操作包括将高精度数据格式表示的神经网络数据量化成低精度数据格式表示的神经网络数据。

9.根据权利要求8所述的方法，其中对每组神经网络数据分别执行量化操作包括：

根据每组神经网络数据中的绝对值最大值和低精度数据格式的位宽来确定用于每组神经网络数据的量化参数；以及

使用所述量化参数来对所述每组神经网络数据分别执行量化操作。

10.根据权利要求8所述的方法，其中对所述多组神经网络数据执行统一的量化操作包括：

根据多组神经网络数据中的绝对值最大值和低精度数据格式数据的位宽来确定用于所述多组神经网络数据的量化参数；以及

使用所述量化参数来对所述多组神经网络数据执行所述统一的量化操作。

11.一种用于对神经网络数据进行量化的设备，包括：

至少一个处理器；

至少一个存储器，其存储有计算机程序代码，当所述计算机程序代码由所述至少一个处理器执行时，使得所述设备执行根据权利要求1-10的任意一项所述的方法。

12.一种计算机可读存储介质，其上存储有用于对神经网络数据进行量化的计算机程序代码，当所述计算机程序代码由处理器运行时，执行根据权利要求1-10的任意一项所述的方法。

13.一种集成电路装置，包括：

存储单元，其配置用于存储多组神经网络数据；

确定单元，其配置用于确定所述多组神经网络数据之间关于量化分布的差异；

判断单元，其配置用于判断所述差异是否大于预定的阈值；以及

量化单元，其配置用于：

响应于所述判断单元判断出所述差异大于预定的阈值，对所述多组神经网络数据的每组神经网络数据分别执行量化操作；或者

响应于所述判断单元判断出所述差异小于或等于所述预定的阈值，对所述多组神经网络数据执行统一的量化操作。