[发明专利]多次迭代的深度神经网络压缩方法

权利要求书

1.一种在语音识别中压缩神经网络以优化语音识别性能的方法，所述神经网络的各个神经元之间的权重由多个矩阵表示，该方法包括：

敏感度分析步骤，包括：

(1)获得压缩前的神经网络词错误率WER_initial，

(2)基于不同压缩比d1,d2,…dn得到压缩后的各个神经网络，以压缩后的各个神经网络进行语音识别以得到语音识别结果中的相应词错误率WER_d1、WER_d2、…WER_dn，由此分析所述多个矩阵中的每个矩阵对于语音识别结果的敏感度，以及

(3)基于所述各个神经网络词错误率WER_initial和WER_d1、WER_d2、…WER_dn，从所述不同压缩比中选择一个作为初始压缩比，由此确定各个矩阵的初始压缩比；

压缩步骤，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；

重训步骤，用于重训所述压缩后的神经网络，使得语音识别结果中的词错误率下降。

2.根据权利要求1的方法，还包括：

迭代执行所述敏感度分析步骤、所述压缩步骤、所述重训步骤。

3.根据权利要求1的方法，其中，从所述多个不同压缩比中选择一个作为初始压缩比包括：

计算各个ΔWER，即WER_initial与WER_d1、WER_d2、…WER_dn的差值；

基于所述各个ΔWER，选择满足ΔWER小于预定阈值的所有压缩比d1,d2,…dn之中最大的压缩比。

4.根据权利要求1的方法，其中，所述压缩步骤进一步包括：

基于各个矩阵的初始压缩比对相应矩阵进行剪枝操作。

5.根据权利要求4的方法，其中，所述剪枝操作包括：

对每个矩阵中的所有元素按照绝对值从小到大进行排序；

保留与所述初始压缩比相对应比例的绝对值较大的元素；以及

将其余元素置零。

6.根据权利要求1的方法，其中，所述压缩步骤进一步包括：

第一压缩步骤，基于所述各个矩阵的初始压缩比，压缩所述神经网络的各个矩阵；

调整步骤，基于所述第一压缩步骤后的网络的词错误率WER，调整所述各个矩阵的初始压缩比，以获得各个矩阵的调整压缩比；

第二压缩步骤，基于所述各个矩阵的调整压缩比，压缩所述神经网络的各个矩阵，以获得压缩后的神经网络。

7.根据权利要求6的方法，其中，所述调整步骤进一步包括：

调整压缩比步骤，调整相对敏感矩阵的压缩比，并以调整后的压缩比对相应矩阵进行压缩；

判断步骤，判断以所述调整后的压缩比压缩后的神经网络的WER是否满足预定要求；如果未满足所述预定要求，则返回所述调整压缩比步骤，以继续调整相对敏感矩阵的压缩比；

如果满足所述预定要求，则把相对敏感矩阵的所述调整后的压缩比作为相应矩阵的调整压缩比。

8.根据权利要求7的方法，其中所述调整压缩比步骤包括：

基于所述神经网络的词错误率WER，以一定步长降低相对敏感矩阵的压缩比。

9.根据权利要求6的方法，其中，所述调整步骤进一步包括：

调整压缩比步骤，调整相对不敏感矩阵的压缩比，并以调整后的压缩比对相应矩阵进行压缩；

判断步骤，判断以所述调整后的压缩比压缩后的神经网络的WER是否满足预定要求；

如果未满足所述预定要求，则返回所述调整压缩比步骤，以继续调整相对不敏感矩阵的压缩比；

如果满足所述预定要求，则把相对不敏感矩阵的所述调整后的压缩比作为相应矩阵的调整压缩比。