[发明专利]深度神经网络模型的压缩方法及装置、终端、存储介质

权利要求书

1.一种深度神经网络模型的压缩方法，其特征在于，包括：

获取已训练的深度神经网络模型；

基于参数在所述深度神经网络模型中的整体贡献度，对已训练的深度神经网络模型的各层参数进行简化，得到简化后的深度神经网络模型。

2.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，所述基于参数在所述深度神经网络模型中的整体贡献度，对已训练的深度神经网络模型的各层参数进行简化，包括：

按照从后至前的顺序对已训练的深度神经网络模型的各层进行遍历，获取遍历到的当前层的保留权重；

计算遍历至的当前层的保留权重的全权连接数值；所述全权连接数值与当前层的参数在所述深度神经网络中的贡献度相关联；

将当前层的保留权重的权连接数值与当前层对应的精简阈值进行比较，并根据比较结果确定当前层的最终保留权重；

获取下一层中与当前层的最终保留权重对应的权重，作为下一层的保留权重，直至所述深度神经网络模型的所有层遍历完成。

3.根据权利要求2所述的深度神经网络模型的压缩方法，其特征在于，当所述深度神经网络模型为M层时，所述计算遍历至的当前层的保留权重的全权连接数值，包括：

其中，O_M,n表示第M层的第n个保留权重的全权连接数值，n表示第M层的第n个保留权重，N_m表示第M层保留权重的数量，o_M,n表示第1至第(M-1)层中遍历到的当前层中第n个保留权重的全权连接数值，n表示第1至第(M-1)层中遍历到的当前层中的第n个保留权重,K第1至第(M-1)层中遍历到的当前层中的保留权重的数量。

4.根据权利要求2所述的深度神经网络模型的压缩方法，其特征在于，所述根据比较结果确定当前层的保留参数，包括：

当确定计算得到的全权连接数值小于或等于当前层对应的精简阈值时，将对应的保留权重删除；

当确定计算得到的全权连接数值大于当前层对应的精简阈值时，将当前层对应的保留权重保留。

5.根据权利要求4所述的深度神经网络模型的压缩方法，其特征在于，所述对应的精简阈值通过以下方式获取：

其中，m表示所述深度神经网络模型的第m层，θ_m表示所述深度神经网络模型第m层对应的精简阈值，α表示预设的质量参数，N_m表示所述深度神经网络模型的第m层中保留权重的数量，o_m,n表示深度神经网络模型中第m层第n个保留权重的权连接数值，μ_m表示所述深度神经网络模型的第m层的保留权重的全权连接数值的均值。

6.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，还包括：对简化后的深度神经网络模型进行重新训练。

7.一种深度神经网络模型的压缩装置，其特征在于，包括：

获取单元，适于获取已训练的深度神经网络模型；

简化单元，适于基于参数在所述深度神经网络模型中的整体贡献度，对已训练的深度神经网络模型的各层参数进行简化，得到简化后的深度神经网络模型。

8.根据权利要求7所述的深度神经网络模型的压缩装置，其特征在于，所述简化单元，适于按照从后至前的顺序对已训练的深度神经网络模型的各层进行遍历，获取遍历到的当前层的保留权重；计算遍历至的当前层的保留权重的全权连接数值；所述全权连接数值与当前层的参数在所述深度神经网络中的贡献度相关联；将当前层的保留权重的权连接数值与当前层对应的精简阈值进行比较，并根据比较结果确定当前层的最终保留权重；获取下一层中与当前层的最终保留权重对应的权重，作为下一层的保留权重，直至所述深度神经网络模型的所有层遍历完成。