[发明专利]深度神经网络模型的压缩方法及装置、终端、存储介质

权利要求书

1.一种深度神经网络模型的压缩方法，其特征在于，包括：

获取已训练的深度神经网络模型；

基于所获取的所述深度神经网络模型中精简单元的贡献度的信息，对所述深度神经网络模型进行精简，直至精简后的深度神经网络模型满足预设的精度需求。

2.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，所述基于所获取的所述深度神经网络模型中精简单元的贡献度的信息，对所述深度神经网络模型进行精简，包括：

采用验证集样本对当前次精简前的深度神经网络模型进行测试，得到当前次精简前的深度神经网络模型中各个精简单元删除前后对应的深度神经网络模型的精度改变数值；

将当前次精简前的深度神经网络模型中所有精简单元按照精度改变数值进行排序；

从当前次精简前的深度神经网络模型中删除预设数量的精度改变数值最小的精简单元，得到当前次精简后的深度神经网络模型；

判断当前次精简后的深度神经网络模型是否满足所述精度需求；

当确定当前次精简后的深度神经网络模型满足所述精度需求时，停止精简操作；

当确定所述当前次精简后的深度神经网络模型不满足所述精度需求时，对当前次精简后的深度神经网络模型执行下一次精简操作，直至精简后的深度神经网络模型满足所述精度需求。

3.根据权利要求2所述的深度神经网络模型的压缩方法，其特征在于，所述采用验证集样本对当前次精简前的深度神经网络模型进行测试，得到当前次精简前的深度神经网络模型中各个精简单元删除前后对应的深度神经网络模型的精度改变数值，包括：

S_m,n＝||c^(t)||_f-||c^(t)'||_f；且f＝{1,2}；其中，S_m,n为第t次精简前的深度神经网络模型中第m层的第n个精简单元删除前后对应的精度改变数值，为第t次精简深度神经网络模型前的精度，为第t次压缩深度神经网络模型前的精度，f分别对应L1范数和L2范数，1指代L1范数，2指代L2范数。

4.根据权利要求3所述的深度神经网络模型的压缩方法，其特征在于，当深度神经网络的输出经过softmax激活函数并使用交叉熵计算损失时，c^(t)采用如下的公式计算得到：

且

其中，V为验证集样本的个数，x_v表示验证集样本中的第ν个样本，表示验证集样本中的第ν个样本k位置的标签，为第t次精简前的深度神经网络模型中第k个输出响应相连的深度神经网络子图，为第t次精简后的深度神经网络模型中第k个输出响应相连的深度神经网络子图，为t次精简后深度神经网络第M层的第k个输出响应。

5.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，所述精度需求满足预设的精度需求包括以下至少一种：

精简后的深度神经网络模型满足预设的精度阈值；

精简后的深度神经网络模型满足预设的压缩体积阈值。

6.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，所述精简单元为深度神经网络模型中的权连接、节点、层、模块和子网络。

7.根据权利要求1所述的深度神经网络模型的压缩方法，其特征在于，还包括：对精简后的深度神经网络模型进行重新训练。

8.一种深度神经网络模型的压缩装置，其特征在于，包括：

获取单元，适于获取已训练的深度神经网络模型；

简化单元，适于基于所获取的所述深度神经网络模型中精简单元的贡献度的信息，对所述深度神经网络模型进行精简，直至精简后的深度神经网络模型满足预设的精度需求。