[发明专利]一种神经网络的定点化方法、装置

权利要求书

1.一种神经网络的定点化方法，其特征在于，该方法包括，

对神经网络进行至少如下之一低比特量化：

对神经网络中的卷积层输入激活值进行第一低比特量化，

对卷积层中卷积核权值进行第二低比特量化，

对神经网络中除了卷积层之外的非卷积功能层，将非卷积功能层的输入激活值进行第三低比特量化；

在进行所述任意低比特量化之后，基于当前低比特量化后的神经网络，进行重训练，

基于重训练后的神经网络中各低比特量化结果，进行定点化；

加载定点化后的神经网络；

其中，所述第一低比特、第二低比特、第三低比特均在1比特至8比特以内。

2.如权利要求1所述的定点化方法，其特征在于，所述对神经网络中的卷积层输入激活值进行第一低比特量化包括，

向神经网络输入训练数据，计算出各个卷积层输入的第一激活值；

对于任一卷积层的各个第一激活值：

根据该卷积层各个第一激活值分布，确定当前量化步长；

根据当前量化步长和第一低比特，计算用于限制该卷积层各个第一激活值取值范围的取值上限，

根据所述取值上限，对该卷积层每个第一激活值进行取值，得到该卷积层各个第二激活值，

将该卷积层第二激活值进行量化，得到该卷积层量化后的激活值。

3.如权利要求1所述的定点化方法，其特征在于，所述对卷积层中卷积核权值进行第二低比特量化包括，

对于任一卷积层中任一输出通道：

获取该输出通道对应卷积核的各个第一权值，

根据各个权值分布，确定该输出通道的当前权值量化阈值，

基于当前权值量化阈值，获取该输出通道各个第一权值的当前量化权值，估计当前量化权值与第一权值的误差，根据误差调整所述当前量化阈值，直至当前量化权值与各个第一权值的误差达到最小，将最小误差所对应的量化阈值作为该输出通道的权值量化阈值系数；

基于权值量化阈值系数，计算该输出通道的第一幅值；

基于该输出通道的第一幅值，采用第二低比特进行第一权值的低比特表达，得到第二权值；根据第二权值与该输出通道的第一幅值的比较结果，对该输出通道的权值量化阈值系数进行量化，得到该输出通道权值量化阈值系数的系数量化值。

4.如权利要求3所述的定点化方法，其特征在于，所述根据各个权值分布，确定该输出通道的当前量化阈值，包括，

将该输出通道对应卷积核中的各个第一权值的平方进行累加，得到该输出通道的累加结果，基于该输出通道的累加结果，在指定的阈值范围中确定当前权值量化阈值；

所述基于当前权值量化阈值，获取该输出通道的当前量化权值，包括，

计算该输出通道的累加结果与该输出通道当前权值量化阈值的乘积，得到该输出通道当前幅值，

将该输出通道对应的卷积核中的各个第一权值与当前幅值进行比较，

如果第一权值大于当前幅值，则将该幅值赋值给第一权值，得到当前量化权值；

如果第一权值小于负的当前幅值，则将负的幅值赋值给第一权值，得到当前量化权值；

如果第一权值大于等于负的当前幅值、且小于等于当前幅值，则将第一权值赋值为0，得到当前量化权值；

所述估计当前量化权值与第一权值的误差，根据误差调整所述当前量化阈值，包括，

计算该输出通道第一权值的当前量化权值与第一权值平均误差或累计误差，如果误差大于设定的误差范围，则重新执行所述根据各个权值分布，确定该输出通道的当前权值量化阈值的步骤；

所述基于权值量化阈值系数，计算该输出通道的第一幅值，包括，计算该输出通道的累加结果与该输出通道权值量化阈值系数的乘积，得到第一幅值。