[发明专利]一种基于节点抑制的卷积神经网络剪枝方法

说明书

本发明公开了一种基于节点抑制的卷积神经网络剪枝方法。它通过抑制网络中部分节点，计算损失函数并根据节点的重要性对其进行筛选的神经网络剪枝方法，能在不影响网络精度的基础上，实现神经网络的压缩和加速。本发明通过采用上述技术，得到基于节点抑制的卷积神经网络剪枝方法，它通过去除神经网络中冗余的节点实现网络的加速和压缩；根据网络损失函数判断每个节点抑制后对网络的影响，结合网络剪枝操作和再训练，能在不影响神经网络精度的基础上，实现神经网络的压缩和加速，减少了神经网络中大量的计算量和参数数量，加快神经网络的运算，解决了深度学习难以应用在现实场景中的问题。

技术领域

本发明涉及一种基于节点抑制的卷积神经网络剪枝方法，尤其涉及抑制部分神经网络节点并计算损失函数的方法，根据网络中节点的重要性进行筛选，实现网络缩减和加速的卷积神经网络剪枝方法。

背景技术

神经网络由于其准确率高，通用性强的特点，受到各行各业学者的持续关注和研究，但由于神经网络的高复杂性和网络计算量巨大的原因，只有较少的方法能应用到实际的场景中。而神经网络的使用需要大量的计算量，因此许多学者针对神经网络进行压缩和加速的研究。而多数方法在实现网络加速的同时，需要对网络结构进行修改并牺牲部分的网络精度。因此基于节点抑制的神经网络剪枝方法是一种较好的解决方案，在不影响网络精度的基础上，实现神经网络的缩减，达到网络加速的目的。

为了解决神经网络计算量过大的问题，国内外学术界、工业界提出了很多方案。其中与本发明较为接近的技术方案包括：Y.Gong(Y.Gong,L.Liu,M.Yang,L.Bourdev,“Compressing Deep Convolutional Networks using Vector Quantization”[J],arXiv:1412.6115,2014)提出了一种压缩神经网络模型大小的方法，主要通过密集权重矩阵进行量化编码实现网络压缩，但该方法只适用于全链接层的网络压缩，不能应用于其他的网络结构。S.Han等人(S.Han,H.Mao,W.J.Dally,“Deep Compression:Compressing DeepNeural Networks with Pruning,Trained Quantization and Huffman Coding”,[C]in2016 international conference of Learning Representations,October 2016,vol.56,No.4,pp.1-14.)提出了“Deep Compression”压缩方法，通过减去小权重的分支再训练，权重聚类压缩和哈夫曼编码的方式，减少了网络大小，提高了运算速度和减少了网络使用的能量损耗，但该算法在实现了网络加速的同时影响了神经网络的精度。Z.Lin等人(Z.Lin,M.Courbariaux,R.Memisevic,et al.“Neural Networks with FewMultiplications”,[C]in 2016 International Conference on LearningRepresentations,2016)通过在隐层中随机二值化和在反向传播中将乘法转换为移位操作实现网络量化加速。二值网络虽然能极大的压缩网络的大小和提升网络的速度，但相应的牺牲网络精度是不可避免的，特别是在目标检测的问题上。

综上所述，当前神经网络压缩和加速的方案中存在如下不足：

(1)多数方法对在网络速度提高的基础上，减少了部分网络参数的精度，导致网络整体精度受到影响；

(2)部分方法只能针对全连接层进行压缩和加速，而全连接层由于参数过多训练复杂而渐渐被全卷积结构所替代，应用场景局限性较大；

(3)许多方法用二值化操作替代神经网络中复杂的浮点数计算，需要特定的硬件才能有较好的实际应用，对硬件依赖性较高。

人工神经网络在各行业中都有较好的实际应用场景，但由于网络依赖于大规模的计算能力，导致神经网络在实际应用中受到限制。而现在多数方法为了实现网络加速的目标，需要牺牲部分的网络精度或依赖于特殊的硬件。