[发明专利]基于矢量量化的迭代式神经网络量化方法及系统

说明书

本发明提供了一种基于矢量量化的迭代式神经网络量化系统，包括：聚类模块、基于误差的划分模块、参数共享模块和重训练模块，其中：聚类模块充分利用参数本身的分布来控制量化误差；基于误差的划分模块将网络参数划分为量化和重训练两部分；参数共享模块将划分的量化部分进行量化；重训练模块固定量化后的参数，更新重训练部分的参数来弥补量化误差，恢复量化后网络的精度。四部分迭代式进行，直到网络所有参数都被量化为止。同时提供了一种基于矢量量化的迭代式神经网络量化方法。本发明在不损失网络精度的情况下，能够将神经网络的32位浮点数量化为4bit，具有很高的实用价值。

技术领域

本发明涉及一种神经网络量化方案，具体是一种基于矢量量化的迭代式神经网络量化方法及系统。

背景技术

深度卷积神经网络在图像分类、目标检测、语义分割等计算机视觉领域取得了很大的成功。深度卷积网络优秀的性能是由很多因素造成的。除了越来越多的数据资源和愈发强大的计算硬件，大量可学习的参数是最重要的一个因素。为了取得很高的准确率，神经网络的设计朝着更宽和更深的方向发展，给计算和存储资源带来了很大的负担。在移动设备上部署深度网络变得更加困难。例如，VGG-16模型有138.34百万个参数，占用了大约500MB的存储空间。分类一张图片需要进行30.94百万次浮点数运算。这样巨大的存储和运算消耗很容易超过移动设备的资源供给量。所以网络压缩吸引了学术界和工业界极大的兴趣。

经过对现有技术的文献检索发现，Song Han在2016年的《InternationalConference on LeamingRepresentation》(ICLR)会议上发表的“DeepCompression：Compressing Deep NeuralNetworks with Pruning，TranedQuantizationand Huffman Coding”一文中提出了一种将裁、减量化和霍夫曼编码相结合的深度压缩方法。文章中将裁剪后的网络进行矢量量化，为了恢复量化后的网络性能，作者利用同一类参数梯度的和来更新参数，最后依据霍夫曼编码对网络进行编码。然而利用同一类参数梯度和来更新参数并不是最优的做法。文章中对卷积层的量化采用的比特数较大，压缩效率不高。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于矢量量化的迭代式神经网络量化方法及系统，可作为一种通用的神经网络压缩工具，其目的是保证网络性能的情况下压缩网络。

本发明是通过以下技术方案实现的：

根据本发明的一个方面，提供了一种基于矢量量化的迭代式神经网络量化方法，包括如下步骤：

步骤S1，聚类：将网络参数进行聚类，并存储每一类的中心；

步骤S2，基于误差的划分：检测每一类量化造成的网络损失即量化损失，并依据量化损失将步骤S1得到的所有类划分为量化部分和重训练部分；

步骤S3，参数共享：将量化部分的网络参数量化为所属类的中心；

步骤S4，重训练：固定量化后的网络参数，更新重训练部分的网络参数来弥补量化误差，恢复量化后网络的精度。

优选地，所述步骤S1，采用k-means聚类方法。

优选地，所述k-means聚类方法包括如下步骤：

对神经网络每一层进行k-means聚类：

其中，k为聚类参数，k＝2^b+1，依据网络需要量化到的比特数b而定；是聚类的第i个类；ω表示网络参数；c_i是聚类结果中第i个类的中心，数值上等于该类所有网络参数的均值，即

聚类之后得到每一类所包含的网络参数量化到类的中心。