[发明专利]一种自适应的神经网络压缩方法

说明书

本发明涉及一种自适应的神经网络压缩方法，第一部分是预设一个期望的准确率；第二部分是利用自适应剪枝算法来压缩移除神经网络中绝大部分不必要的连接；第三部分是利用自适应的权值共享算法来实现权值共享，进一步实现减少参数量。本发明可以在保持原来模型准确率的情况下减少神经网络的参数数量，自动有效地对神经网络进行压缩，最大程度地减少人为介入。

技术领域

本发明涉及计算机神经网络技术领域，尤其涉及一种自适应的神经网络压缩方法。

背景技术

深度学习邻域的研究近几年持续升温，并且在计算机视觉、语音识别和自然语言处理邻域取得了巨大的成就。神经网络以参数量的膨胀为代价，获得了强大的学习能力。1998年LeNet以1M的参数量就完成了对手写数字的分类，而到了2012年Alexnet在ImageNet数据集上取得冠军时参数量就到达了60M。在随后的几年内，神经网络的参数越来越多，vgg16的参数量甚至超过了500MB。虽然这些参数量庞大的神经网络通用性很强,但它们消耗大量的存储、内存和计算资源。这种参数膨胀(over paramterized)的现象使得一些神经网络只能部署在一些专门的服务器上。现在已经有了一些压缩神经网络的算法可以有效地减少神经网络中的参数量，但是这些方法需要人工介入预先配置一些经验参数。实验证明神经网络对于这些经验参数相当敏感，经验参数对于最后压缩的效果有着很大的影响。如何自动有效地对神经网络进行压缩，最大程度地减少人为介入，这是一个很有研究价值的实际问题。现有的技术在对神经网络进行压缩时，人工介入的经验参数对压缩效果有着很大影响。

发明内容

本发明为克服上述的不足之处，目的在于提供一种自适应的神经网络压缩方法，本发明可以在保持原来模型准确率的情况下减少神经网络的参数数量，自动有效地对神经网络进行压缩，最大程度地减少人为介入。

本发明是通过以下技术方案达到上述目的：一种自适应的神经网络压缩方法，包括如下步骤：

(1)预设一个期望的准确率；

(2)训练一个神经网络，并利用自适应剪枝算法对该神经网络进行剪枝；

(3)基于剪枝后的神经网络，利用自适应权值共享算法对神经网络中剩余的参数进行权值共享，进一步减少参数的数量，从而实现神经网络的压缩。

作为优选，所述步骤(2)在剪枝过程中采用二分计算阈值法，具体如下：

(2.1)使用常规的方法训练一个普通的神经网络；

(2.2)对于神经网络中的每一层使用二分法计算出一个合适的阈值，使得在移除绝对值小于这个阈值的连接后神经网络的准确度不会明显下降；

(2.3)移除神经网络中绝对值小于步骤(2)中计算的阈值的连接；

(2.4)继续训练神经网络中没有被移除的连接，重复步骤(2.2)与步骤(2.3)直至神经网络中不存在没有被移除的连接。

作为优选，所述步骤(2.2)具体如下：

(2.2.1)设定上二分的上下界：二分的下界为0，二分的上界是当前层中绝对值的最值；

(2.2.2)根据预设的准确率，对神经网络的某一层二分出一个合适的阈值；其中，计算阈值的过程中需要预先设定期望的准确率，然后在二分的上下界中计算得到一个阈值可以使得移除原网络中所有小于这个阈值的连接后，在测试集上的准确率不低于期望的准确率。

作为优选，所述在步骤(3)具体如下：

(3.1)对于神经网络模型中的每一层按期望的准确率二分查找合适的阈值，使得按该阈值权值共享后，在测试集上的准确率不低于期望的准确率；