[发明专利]一种基于通道分组低比特神经网络参数压缩量化方法

权利要求书

1.一种基于通道分组低比特神经网络参数压缩量化方法，其特征在于，包括以下步骤：

1)将权重按通道分成q个组；

2)基于所述q组通道定义bit数和训练转化比例；

3)基于定义的所述bit数和训练转化比例，计算每组权重的量化范围并将所述每组权重转化为2ⁿ形式，并使用未转化的所述权重训练网络；

4)针对未转化的所述权重重复步骤3)，直到所有权重完成所述计算和所述转化；

5)计算转化后的权重的最小值；

6)根据所述转化后的权重的最小值计算偏移量，基于所述偏移量将模型存储成特定形式。

2.根据权利要求1所述的方法，其特征在于，所述训练转化比例包括0.3、0.7、0.8、1。

3.根据权利要求1所述的方法，其特征在于，所述量化范围的计算包括以下步骤：

将所述权重从大到小排序，取前预定比例的权重；

根据计算公式求得所述比例的权重的指数的最大值和最小值；

基于所述指数的最大值和最小值将所述比例的权重转化为最接近的2ⁿ形式。

4.根据权利要求3所述的方法，其特征在于，所述预定比例为每一次的训练转化比例。

5.根据权利要求4所述的方法，其特征在于，所述计算公式为min＝max–nbit+1，其中Wq是第q组所有权重，nbit是定义的bit数，max和min是指数的最大值和最小值。

6.根据权利要求3所述的方法，其特征在于，所述训练网络用于补偿所述量化范围计算的损失。

7.根据权利要求1所述的方法，其特征在于，所述网络包括CNN网络。

8.根据权利要求1所述的方法，其特征在于，将权重按通道分成q个组包括：使用KNN方法将所述权重按通道分成所述q个组。

9.根据权利要求1所述的方法，其特征在于，根据所述转化后的权重的最小值计算偏移量包括：使用公式shiftn＝log₂^min-nbit计算所述偏移量，其中所述log₂^min是步骤5)中转化后的权重的最小值的对数，nbit是定义的bit数。

10.根据权利要求9所述的方法，其特征在于，所述特定形式包括shiftn和所有按顺序转化后权重的指数。