[发明专利]一种深度卷积神经网络模型的压缩方法

说明书

本发明公开了一种深度卷积神经网络模型的压缩方法，包括以下步骤：S1：搭建分类网络；S2：对所述分类网络施加稀疏约束；S3：对约束后的所述分类网络进行稀疏训练；S4：将训练后的所述分类网络进行保存。该方法在保持模型准确率基本不变的情况下，压缩深度卷积网络模型，降低inference时内存访问和计算操作次数。

技术领域

本发明涉及深度学习领域，特别是涉及一种深度卷积神经网络模型的压缩方法。

背景技术

近年来随着深度卷积神经网络在计算机视觉、语音识别和自然语言处理等领域的优异表现，在越来越多的数据和越来越强大的计算力驱动下，为更好的从数据中学习，深度卷积神经网络模型变得越来越大。虽然这些模型通常部署在服务器上，但为了增强用户体验和保护用户隐私，需将这些深度卷积神经网络迁移到像手机这样的移动终端设备上。将这些大模型部署到资源受限的移动终端上，将面临以下挑战，第一，MB级的存储空间；第二，10⁹数量级的内存访问和计算操作，对功耗和散热要求较高。而直接部署较小的模型，则模型效果又较差。

发明内容

有鉴于此，为克服大模型在资源受限的移动终端设备上的部署问题，本发明提出了一种模型压缩的方法，该方法在保持模型准确率基本不变的情况下，压缩深度卷积网络模型，降低了inference时内存访问和计算操作次数。包括以下内容：

一种深度卷积神经网络模型的压缩方法，包括以下步骤：

S1：搭建分类网络；

S2：对所述分类网络施加稀疏约束；

S3：对约束后的所述分类网络进行稀疏训练；

S4：将训练后的所述分类网络进行保存。

进一步的，所述分类网络包括多个卷积层和全连接层。

进一步的，所述S2：对所述分类网络施加稀疏约束，包括：在所述分类网络中创建一个二进制掩码对所述分类网络进行约束。

进一步的，在初始状态所述二进制掩码为1。

进一步的，所述S3：对所述分类网络模型进行稀疏训练，包括：

S31：前向传播时，所述卷积层的权重和所述全连接层的权重与所述二进制掩码相乘；

S32：重复所述S31 五百次之后对所述卷积层和所述全连接层中绝对值最小的前5%进行稀疏操作；

S33：循环S31和S32，停止稀疏训练；

S34：在保持稀疏度不变的情况下，继续训练至所述分类网络收敛。

进一步的，所述稀疏操作，包括：对权重置零，相应位置的二进制掩码也置零。

进一步的，所述S31中卷积层的权重和所述全连接层的权重先与所述二进制掩码相乘，包括：所述二进制掩码为零的位置对应的权重不参与计算，也不会通过梯度进行更新。

进一步的，所述S33中停止稀疏训练的条件为：当二进制掩码中零值元素占总体二进制掩码的比例达到75%。

进一步的，所述S35中保持稀疏度不变为保持二进制掩码稀疏度75%不变。

进一步的，所述S4：将训练后的所述分类网络进行保存，包括：

S41：保持训练后的所述分类网络不变并存储；

S42：对所述分类网络的权重进行存储。

进一步的，所述S42：对所述分类网络的权重进行存储，包括：使用分布式存储方式所述权重进行存储。

本发明的有益效果在于：