[发明专利]深度神经网络模型压缩方法及装置

摘要

本发明涉及神经网络技术领域，特别是涉及一种深度神经网络模型压缩方法及装置，该方法中，在深度神经网络模型不包含残差块时，为每个卷积层配置与其对应的特征选择模块；若包含残差块时，为除了各个残差块中最后一个卷积层之外的所有卷积层配置与其对应的特征选择模块。根据深度神经网络模型的网络构造的不同，执行不同的修剪方式，以实现最大化的对深度神经网络模型进行压缩。在修剪过程中，先确定各个特征图对应熵权重，以用于确定每个特征图所携带的信息量，熵权重越低特征图携带的信息量越少，与之对应的滤波器越低效，将低效的滤波器及对应的特征图修剪，有效压缩了深度神经网络模型，使深度神经网络模型更加轻量化。

主权项

1.一种深度神经网络模型压缩方法，其特征在于，包括：获取已完成训练的深度神经网络模型，并判断所述深度神经网络模型是否包含残差块；当所述深度神经网络模型不包含残差块时，为所述深度神经网络模型中的每个卷积层配置与其对应的预先设置的特征选择模块；依据各个所述特征选择模块，提取各个所述卷积层中各个滤波器输出的特征图，并确定每个所述特征图对应的熵权重；依据各个所述卷积层中预先设置的熵修剪比，及各个所述卷积层中每个所述特征图对应的熵权重，确定每个所述卷积层对应的修剪阈值；将每个卷积层中小于该卷积层的修剪阈值的各个熵权重对应的特征图进行修剪，并对各个已修剪的特征图对应的滤波器修剪；将修剪后的深度神经网络模型进行微调训练，确定所述深度神经网络模型在修剪后的准确度，并判断所述准确度是否不小于预设的阈值；当所述准确度不小于所述预设的阈值时，对所述深度神经网络模型进行迭代修剪，并在每次修剪后进行微调训练，保存每次微调训练后的深度神经网络模型，并确定每次微调训练后的准确度；若当前修剪且微调训练后深度神经网络模型的准确度小于所述预设的阈值时，完成对所述深度神经网络模型的修剪，并将上一次修剪的深度神经网络模型，作为已完成压缩的深度神经网络模型。