[发明专利]基于改进聚类的深度神经网络的压缩方法

说明书

本发明公开了基于改进聚类的深度神经网络的压缩方法；首先通过剪枝策略将正常训练后的网络变为稀疏网络，实现初步的压缩，然后通过K‑Means++聚类得到每层权重的聚类中心，用聚类中心值来表示原始权重值实现权值共享，最后通过各层聚类来进行各层权重的量化，进行再训练更新聚类中心，实现最终的压缩。本发明通过剪枝、权值共享和权值量化三步，最终将深度神经网络整体压缩了30到40倍，并且精度有所提升。基于改进聚类的压缩方法简单有效，深度神经网络在不损失精度(甚至提升)的条件下实现了有效压缩，这使得深度网络在移动端的部署成为了可能。

技术领域

本发明涉及机器学习技术领域，尤其涉及基于改进聚类的深度神经网络的压缩方法。

背景技术

在一系列的语音识别和计算机视觉等任务中，深度神经网络都表现出非常明显的优势。除了强大的计算平台和多种多样的训练框架，深度神经网络的强大性能主要归功于其大量的可学习参数。随着网络深度的增加，网络的学习能力也会变强。但是这种学习能力的增强是以内存和其它计算资源的增加为代价的，大量的权重会消耗相当大的内存和存储器带宽。现在手机、车载等移动端应用对深度神经网络的需求越来越多，就目前深度模型的尺寸来说，大多数模型根本无法移植到手机端APP或者嵌入式芯片当中。

深度神经网络通常是过参数化的，并且深度学习模型存在严重冗余，这导致了计算和存储的浪费。目前已经提出了很多方法来对深度学习模型进行压缩。主要的技术涉及网络剪枝、量化和低秩分解以及迁移学习等，而且压缩的对象是针对深度卷积神经网络。但是基本都是主要针对全连接层进行压缩，压缩率不高而且精度有一定的损失，这些问题都亟待解决。

基于改进聚类的深度神经网络的压缩方法，通过剪枝、权值共享和权值量化三步，深度神经网络在不损失精度(甚至提升)的条件下实现了有效压缩。压缩方法简单有效，这使得深度网络在移动端的部署成为了可能。因此对基于改进聚类的深度神经网络的压缩实现研究，对于深度神经网络的实际应用及更深一步的理论研究均具有重要意义。

发明内容

本发明的目的在于提供基于改进聚类的深度神经网络的压缩方法，在不损失精度(甚至提升)的条件下对深度神经网络实现有效的压缩，使得深度神经网络在移动端的部署成为可能。

为实现上述目的本发明采用以下技术方案：

基于改进聚类的深度神经网络的压缩方法，包括如下步骤：

1)、剪枝策略；

剪枝过程主要分为三步，首先对网络进行常规训练，并保存训练后的模型；然后对权值较小的连接进行剪枝，原始网络变为稀疏网络，保存剪枝后的稀疏网络模型；最后对稀疏网络再训练来保证CNN的有效性，再训练之后保存最终的模型；每一次剪枝再训练的过程都是一次迭代，随着迭代训练次数的增加，精确度会逐渐增加，多次迭代之后，找到最好的连接；

剪枝完成之后，原始网络就变为稀疏网络，结合实际情况，最终对稀疏网络结构是选用spicy的CSC格式来存储；

2)、基于K-Means++算法的权值共享；

选用K-Means++算法来进行聚类，将原始n个权值W＝{w₁,w₂,......w_n}划分成k个类C＝{c₁,c₂,...,c_k}，其中n＞＞k，||w_i-w_j||表示w_i和w_j之间的欧几里得距离，定义W关于C的代价函数如下：

K-Means的目标就是选择C来最小化代价函数φ_W(C)，K-Means++与其优化目标相同，在初始聚类中心的选择上进行了改进，K-Means++选择初始聚类中心的基本思想是：初始的聚类中心之间的相互距离要尽可能的远；