[发明专利]深度神经网络模型的压缩方法及装置、终端、存储介质

说明书

一种深度神经网络模型的压缩方法及装置、终端、存储介质，所述深度神经网络模型的压缩方法包括：获取已训练的深度神经网络模型；基于所获取的所述深度神经网络模型中精简单元的贡献度的信息，对所述深度神经网络模型进行精简，直至精简后的深度神经网络模型满足预设的精度需求。上述的方案，可以在对深度神经网络模型压缩时兼顾深度神经网络模型的精度及有效性。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种深度神经网络模型的压缩方法及装置、终端、存储介质。

背景技术

随着深度神经网络相关技术研究的迅速发展，相关领域内涌现了大批与深度神经网络相关的技术，如应用于视觉领域的卷积神经网络和应用于语音识别或自然语言处理领域的递归神经网络等，这些神经网络技术均极大地提高了相应领域的处理精度。

深度神经网络与浅层学习相比，深度神经网络的开发潜力巨大。通过深度神经网络模型的多层处理结构可以提取和分析样本的表征特征，由浅入深地逐层变换和计算样本特征并计算处理结果。通过对深度神经网络模型进行增宽增长处理，可以使深度神经网络模型获得相对更优的处理结果。

然而，深度神经网络模型的参数通常在百万、千万或上亿数量级，因此对计算和存储设备的要求较高。由于深度神经网络模型存储及计算时深度神经网络模型的参数传输等问题，限制了深度神经网络模型在移动设备上的应用。

目前，通常采用减少深度神经网络模型的参数、节点数目以及改变多样性类方法，达到压缩深度神经网络模型的目的。虽然，这样可以对神经网络模型进行一定的压缩，然而，精简后的深度神经网络模型的精度及有效性较低。

发明内容

本发明解决的技术问题是在对深度神经网络模型压缩时如何兼顾深度神经网络模型的精度及有效性。

为解决上述技术问题，本发明实施例提供一种深度神经网络模型的压缩方法，包括：获取已训练的深度神经网络模型；基于所获取的所述深度神经网络模型中精简单元的贡献度的信息，对所述深度神经网络模型进行精简，直至精简后的深度神经网络模型满足预设的精度需求。

可选地，所述基于所获取的所述深度神经网络模型中精简单元的贡献度的信息，对所述深度神经网络模型进行精简，包括：采用验证集样本对当前次精简前的深度神经网络模型进行测试，得到当前次精简前的深度神经网络模型中各个精简单元删除前后对应的深度神经网络模型的精度改变数值；将当前次精简前的深度神经网络模型中所有精简单元按照精度改变数值进行排序；从当前次精简前的深度神经网络模型中删除预设数量的精度改变数值最小的精简单元，得到当前次精简后的深度神经网络模型；判断当前次精简后的深度神经网络模型是否满足所述精度需求；当确定当前次精简后的深度神经网络模型满足所述精度需求时，停止精简操作；当确定所述当前次精简后的深度神经网络模型不满足所述精度需求时，对当前次精简后的深度神经网络模型执行下一次精简操作，直至精简后的深度神经网络模型满足所述精度需求。

可选地，所述采用验证集样本对当前次精简前的深度神经网络模型进行测试，得到当前次精简前的深度神经网络模型中各个精简单元删除前后对应的深度神经网络模型的精度改变数值，包括：S_m,n＝||c^(t)||_f-||c^(t)'||_f；且f＝{1,2}；其中，S_m,n为第t次精简前的深度神经网络模型中第m层的第n个精简单元删除前后对应的精度改变数值，为第t次精简深度神经网络模型前的精度，为第t次压缩深度神经网络模型前的精度，f分别对应L1范数和L2范数，1指代L1范数，2指代L2范数。