[发明专利]基于矢量量化的迭代式神经网络量化方法及系统

权利要求书

1.一种通用的神经网络压缩工具，用于图像分类、目标检测或语义分割；其特征在于，包括如下模块：

聚类模块，将网络参数进行聚类，并存储每一类的中心；

基于误差的划分模块，检测每一类量化造成的网络损失即量化损失，并依据量化损失将聚类模块聚得的所有类划分为量化部分和重训练部分；

参数共享模块，将量化部分的网络参数量化为所属类的中心；

重训练模块，固定量化后的网络参数，更新重训练部分的网络参数来弥补量化误差，恢复量化后网络的精度；

所述聚类模块、基于误差的划分模块、参数共享模块和重训练模块迭代式进行，直到所有网络参数都被量化为止；所述量化部分的量化损失大于重训练部分的量化损失；

所述聚类模块，采用k-means聚类方法，其中k-means聚类方法包括如下步骤：

对神经网络每一层进行k-means聚类：

其中，k为聚类参数，k＝2^b+1，依据网络需要量化到的比特数b而定；是聚类的第i个类；ω表示网络参数；c_i是聚类结果中第i个类的中心，数值上等于该类所有网络参数的均值，即

聚类之后得到每一类所包含的网络参数量化到类的中心；

所述神经网络压缩工具在不损失网络精度的情况下，将网络的32位浮点数量化为4bit。

2.根据权利要求1所述的通用的神经网络压缩工具，其特征在于，所述步骤S2，依据量化对网络性能的影响即网络损失对聚类的结果进行排序，并将所有类划分为两部分，即量化部分和重训练部分其中量化部分对网络性能的影响大于重训练部分对网络性能的影响。

3.根据权利要求2所述的通用的神经网络压缩工具，其特征在于，其中，W表示类的数量。

4.根据权利要求1所 述的通用的神经网络压缩工具，其特征在于，所述重训练模块，其中重训练是对之前划分的重训练部分的网络参数进行操作，量化部分的网络参数保持不变。

5.根据权利要求4所 述的通用的神经网络压缩工具，其特征在于，所述重训练模块的重训练过程中，利用musk函数来控制梯度的传播：