[发明专利]用于定点神经网络的位宽选择

权利要求书

1.一种用于为包括神经网络的机器学习模型选择位宽的计算机实现的方法，所述方法包括：

接收第一输入，所述第一输入包括在所述神经网络的第一层的激活值的第一集合，所述第一层包括对应的权重的第一集合；

处理以执行以下至少一者：

将所述激活值的第一集合量化为第一层激活位宽，以及

将所述权重的第一集合量化为第一层权重位宽；

确定用于所述机器学习模型的模型性能度量，其中所述确定包括将经处理的激活值的第一集合与经处理的权重的第一集合相乘；以及

基于所确定的模型性能度量来改变所述第一层激活位宽和所述第一层权重位宽中的至少一者。

2.如权利要求1所述的方法，其中所述第一层是卷积层。

3.如权利要求2所述的方法，其中接收所述第一输入的步骤包括首先将所述第一输入分解成多个通道。

4.如权利要求1所述的方法，其中所述第一层是全连接层。

5.如权利要求1-4中任一项所述的方法，其中所述处理包括量化所述激活值的第一集合和所述权重的第一集合两者。

6.如权利要求5所述的方法，其中所述第一层激活位宽与所述第一层权重位宽不同。

7.如权利要求1-6中任一项所述的方法，进一步包括：

接收第二输入，所述第二输入包括所述神经网络的第二层的激活值的第二集合，所述第二层包括与所述权重的第一集合不同的对应的权重的第二集合；

处理以执行以下至少一者：

将所述激活值的第二集合量化为第二层激活位宽，以及

将所述权重的第二集合量化为第二层权重位宽；以及

确定用于所述机器学习模型的第二模型性能度量，其中所述确定包括将经处理的激活值的第二集合与经处理的权重的第二集合相乘。

8.如权利要求7所述的方法，进一步包括基于所确定的第二模型性能度量来改变所述第二层激活位宽和所述第二层权重位宽中的至少一者。

9.如权利要求7所述的方法，进一步包括基于所确定的第二模型性能度量来将所述第二层激活位宽维持相同以及将所述第二层权重位宽维持相同。

10.如权利要求7所述的方法，其中：

将所述激活值的第一集合与所述权重的第一集合相乘生成结果，所述结果用于生成中间计算的第一集合；

所述激活值的第二集合包括所述中间计算的第一集合。

11.如权利要求1-10中任一项所述的方法，其中：

所述第一层进一步包括对应的偏置值的第一集合；

所述处理包括将所述偏置值的第一集合量化为第一层偏置位宽。

12.如权利要求1-11中任一项所述的方法，其中所述第一层包括不同分量，并且所述方法进一步包括为所述第一层的不同分量选择不同位宽。

13.如权利要求1-12中任一项所述的方法，其中所述模型性能度量包括分类准确度、分类速度、和信号量化噪声比中的至少一者。

14.一种用于为机器学习模型的定点实现选择位宽的装置，包括：

存储器；以及

至少一个处理器，所述至少一个处理器耦合至所述存储器并且被配置成执行如任何前述权利要求所述的方法。

15.一种包括指令的计算机可读存储介质，所述指令在被计算机执行时使所述计算机执行如权利要求1-13中的任一项所述的方法的步骤。