[发明专利]一种自适应的神经网络压缩方法

权利要求书

1.一种自适应的神经网络压缩方法，其特征在于，包括如下步骤：

(1)预设一个期望的准确率；

(2)训练一个神经网络，并利用自适应剪枝算法对该神经网络进行剪枝；

(3)基于剪枝后的神经网络，利用自适应权值共享算法对神经网络中剩余的参数进行权值共享，进一步减少参数的数量，从而实现神经网络的压缩。

2.根据权利要求1所述的一种自适应的神经网络压缩方法，其特征在于：所述步骤(2)在剪枝过程中采用二分计算阈值法，具体如下：

(2.1)使用常规的方法训练一个普通的神经网络；

(2.2)对于神经网络中的每一层使用二分法计算出一个合适的阈值，使得在移除绝对值小于这个阈值的连接后神经网络的准确度不会明显下降；

(2.3)移除神经网络中绝对值小于步骤(2)中计算的阈值的连接；

(2.4)继续训练神经网络中没有被移除的连接，重复步骤(2.2)与步骤(2.3)直至神经网络中不存在没有被移除的连接。

3.根据权利要求2所述的一种自适应的神经网络压缩方法，其特征在于：所述步骤(2.2)具体如下：

(2.2.1)设定上二分的上下界：二分的下界为0，二分的上界是当前层中绝对值的最值；

(2.2.2)根据预设的准确率，对神经网络的某一层二分出一个合适的阈值；其中，计算阈值的过程中需要预先设定期望的准确率，然后在二分的上下界中计算得到一个阈值可以使得移除原网络中所有小于这个阈值的连接后，在测试集上的准确率不低于期望的准确率。

4.根据权利要求1所述的一种自适应的神经网络压缩方法，其特征在于：所述在步骤(3)具体如下：

(3.1)对于神经网络模型中的每一层按期望的准确率二分查找合适的阈值，使得按该阈值权值共享后，在测试集上的准确率不低于期望的准确率；

(3.2)利用聚类算法实现权值共享，其中聚类算法中，对于每个聚类，选取这个聚类内元素的均值作为聚类的中心；规定对于一个阈值，每一个聚类内的元素到聚类中心的距离不能超过这个阈值：

(3.3)微调每一层聚类质心的值；在每一轮的训练过程中，先进行一次向前传播，在反向传播的时候整质心的梯度就是所有和质心同类连接的梯度和。

5.根据权利要求4所述的一种自适应的神经网络压缩方法，其特征在于：所述步骤(3)中，利用权值共享可通过减少存储时消耗的比特数进一步对神经网络压缩，通过让多个权值相近的连接共享同一个权值，存储网络时就只需要存储连接的权值属于哪一类，而不是其具体的值；如果使用了k个类进行权值共享，那么就需要个比特来存储权值对应哪一类；如果原来需要存储n个b比特数，那么压缩率可以按如下公式计算：

6.根据权利要求1所述的一种自适应的神经网络压缩方法，其特征在于：所述步骤(3.2)具体如下：

(3.2.1)对原先集合内的数值进行排序；

(3.2.2)维护两个头尾指针，每次向后移动尾指针，直到头尾指针指向的元素之差大于选取的阈值为止；若头尾指针指向的元素之差大于选取的阈值，将头尾指针之间的元素归为一类；并循环执行该步骤直至完成所有的聚类。