[发明专利]深度神经网络模型的压缩方法及装置、终端、存储介质

说明书

一种深度神经网络模型的压缩方法及装置、终端、存储介质，所述方法包括：获取已训练的深度神经网络模型；基于参数在所述深度神经网络模型中的整体贡献度，对已训练的深度神经网络模型的各层参数进行简化，得到简化后的深度神经网络模型。上述的方案，可以在对深度神经网络模型压缩时兼顾深度神经网络模型的精度及有效性。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种深度神经网络模型的压缩方法及装置、终端、存储介质。

背景技术

随着深度神经网络相关技术研究的迅速发展，相关领域内涌现了大批与深度神经网络相关的技术，如应用于视觉领域的卷积神经网络和应用于语音识别或自然语言处理领域的递归神经网络等，这些神经网络技术均极大地提高了相应领域的处理精度。

深度神经网络与浅层学习相比，深度神经网络的开发潜力巨大。通过深度神经网络模型的多层处理结构可以提取和分析样本的表征特征，由浅入深地逐层变换和计算样本特征并计算处理结果。通过对深度神经网络模型进行增宽增长处理，可以使深度神经网络模型获得相对更优的处理结果。

然而，深度神经网络模型的参数通常在百万、千万或上亿数量级，因此对计算和存储设备的要求较高。由于深度神经网络模型存储及计算时深度神经网络模型的参数传输等问题，限制了深度神经网络模型在移动设备上的应用。

目前，通常采用减少深度神经网络模型的参数、节点数目以及改变多样性类方法，达到压缩深度神经网络模型的目的。虽然，这样可以对神经网络模型进行一定的压缩，然而，压缩后的深度神经网络模型的精度及有效性较低。

发明内容

本发明解决的技术问题是在对深度神经网络模型压缩时如何兼顾深度神经网络模型的精度及有效性。

为解决上述技术问题，本发明实施例提供一种深度神经网络模型的压缩方法，包括：获取已训练的深度神经网络模型；基于参数在所述深度神经网络模型中的整体贡献度，对已训练的深度神经网络模型的各层参数进行简化，得到简化后的深度神经网络模型。

可选地，所述基于参数在所述深度神经网络模型中的整体贡献度，对已训练的深度神经网络模型的各层参数进行简化，包括：按照从后至前的顺序对已训练的深度神经网络模型的各层进行遍历，获取遍历到的当前层的保留权重；计算遍历至的当前层的保留权重的全权连接数值；所述全权连接数值与当前层的参数在所述深度神经网络中的贡献度相关联；将当前层的保留权重的权连接数值与当前层对应的精简阈值进行比较，并根据比较结果确定当前层的最终保留权重；获取下一层中与当前层的最终保留权重对应的权重，作为下一层的保留权重，直至所述深度神经网络模型的所有层遍历完成。

可选地，当所述深度神经网络模型为M层时，所述计算遍历至的当前层的保留权重的全权连接数值，包括：

其中，O_M,n表示第M层的第n个保留权重的全权连接数值，n表示第M层的第n个保留权重，N_m表示第M层保留权重的数量，o_M,n表示第1至第(M-1)层中遍历到的当前层中第n个保留权重的全权连接数值，n表示第1至第(M-1)层中遍历到的当前层中的第n个保留权重,K第1至第(M-1)层中遍历到的当前层中的保留权重的数量。

可选地，所述根据比较结果确定当前层的保留参数，包括：当确定计算得到的全权连接数值小于或等于当前层对应的精简阈值时，将对应的保留权重删除；当确定计算得到的全权连接数值大于当前层对应的精简阈值时，将当前层对应的保留权重保留。

可选地，所述对应的精简阈值通过以下方式获取：