[发明专利]基于改进聚类的深度神经网络的压缩方法

摘要

本发明公开了基于改进聚类的深度神经网络的压缩方法；首先通过剪枝策略将正常训练后的网络变为稀疏网络，实现初步的压缩，然后通过K‑Means++聚类得到每层权重的聚类中心，用聚类中心值来表示原始权重值实现权值共享，最后通过各层聚类来进行各层权重的量化，进行再训练更新聚类中心，实现最终的压缩。本发明通过剪枝、权值共享和权值量化三步，最终将深度神经网络整体压缩了30到40倍，并且精度有所提升。基于改进聚类的压缩方法简单有效，深度神经网络在不损失精度(甚至提升)的条件下实现了有效压缩，这使得深度网络在移动端的部署成为了可能。

主权项

1.基于改进聚类的深度神经网络的压缩方法，其特征在于，包括如下步骤：1)、剪枝策略；剪枝过程主要分为三步，首先对网络进行常规训练，并保存训练后的模型；然后对权值较小的连接进行剪枝，原始网络变为稀疏网络，保存剪枝后的稀疏网络模型；最后对稀疏网络再训练来保证CNN的有效性，再训练之后保存最终的模型；每一次剪枝再训练的过程都是一次迭代，随着迭代训练次数的增加，精确度会逐渐增加，多次迭代之后，找到最好的连接；剪枝完成之后，原始网络就变为稀疏网络，结合实际情况，最终对稀疏网络结构是选用spicy的CSC格式来存储；2)、基于K‑Means++算法的权值共享；选用K‑Means++算法来进行聚类，将原始n个权值W＝{w1,w2,......wn}划分成k个类C＝{c1,c2,...,ck}，其中n＞＞k，||wi‑wj||表示wi和wj之间的欧几里得距离，定义W关于C的代价函数如下：K‑Means的目标就是选择C来最小化代价函数φW(C)，K‑Means++与其优化目标相同，在初始聚类中心的选择上进行了改进，K‑Means++选择初始聚类中心的基本思想是：初始的聚类中心之间的相互距离要尽可能的远；3)、权值量化；通过各层聚类来进行各层权重的量化，最后进行再训练更新聚类中心，对权值进行量化减少表示权值所用的位数，权值量化对深度神经网络实现了进一步的压缩；对于每个权值,存储它所属的聚类中心的索引号，对网络进行训练时，前向传播时需要将每个权值用其对应的聚类中心代替，反向传播时计算每个类内的权值梯度，然后将其梯度和反传，用来更新聚类中心；权值共享量化后，所有的聚类中心都被存在码书里，权值不是由原来的32位浮点数表示，而是由其对应的聚类中心的索引号表示，这一步让存储的数据量大大减少，最终存储的结果就是一个码书和索引表，假设聚成k类，则需要log2(k)位来编码索引，对于具有n个连接的网络，每个连接用b位表示，有k个共享权值，则压缩率r可以表示如下：