[发明专利]一种卷积网络模型压缩方法、系统及存储介质

说明书

本发明实施例公开了一种卷积网络模型压缩方法、系统及存储介质，本发明实施例提供的卷积网络模型压缩方法首先对卷积网络模型进行通道稀疏正则化训练，使卷积网络模型收敛，再采用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝，然后对剪枝后的卷积网络模型进行微调并判断是否收敛，如果收敛则得到压缩后的卷积网络模型，从而有效地减小了卷积网络模型的大小和卷积网络模型运行时对内存的占用，并在不影响精度的同时降低了操作数，还可以使用传统硬件和深度学习软件包实现模型压缩和推理加速，而不需要使用其他特殊的软硬件加速器。

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种卷积网络模型压缩方法、系统及存储介质。

背景技术

卷积网络模型在现实中应用时通常要面临三个问题：(1)模型大小对嵌入式设备的影响:卷积网络模型优异的性能取决于模型内上百万可训练的参数，这些参数和网络结构信息需要被存储到硬盘中，然后在推理期间加载到内存中，例如一个在ImageNet上预训练好的模型需要超过300M空间，这对于嵌入式设备来说是一个很大的负担；(2)运行时间对占用内存的影响:在推理期间，卷积网络模型的中间激活值/响应对存储空间的需求甚至比存储模型参数的要更大，即使这对于高性能的GPU来说不是问题，但对于低计算能力的许多应用来说是一个较大的负担；(3)计算量：在高分辨率图片上卷积进行操作时可能会导致计算密集，一个大的卷积网络模型在嵌入式设备上可能要花费几分钟来处理一张图片，这使得在现实应用中并不可行。

发明内容

为此，本发明实施例提供一种卷积网络模型压缩方法、系统及存储介质，以解决上述背景技术中出现的至少一个问题。

为了实现上述目的，第一方面，本发明实施例提供了一种卷积网络模型压缩方法，包括：

采集图像数据并制作训练数据集，利用深度学习框架搭建卷积网络模型，并对卷积网络模型执行如下步骤：

利用训练数据集对卷积网络模型进行通道稀疏正则化训练，直到卷积网络模型收敛；

利用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝；

对剪枝后的卷积网络模型进行微调，并判断微调后的卷积网络模型是否收敛；

若微调后的卷积网络模型收敛，则保存微调后的卷积网络模型的模型参数，得到压缩后的卷积网络模型；若微调后的卷积网络模型不收敛，则重复上述步骤。

进一步地，采集图像数据并制作训练数据集，利用深度学习框架搭建卷积网络模型包括：

根据应用场景采集图像数据并制作训练数据集；

计算训练数据集的均值和标准差；

根据均值和标准差对训练数据集做归一化处理，得到预处理后的训练数据集；

根据应用场景包含的类别数量，配置卷积网络模型的通道数量；

利用训练数据集对卷积网络模型进行通道稀疏正则化训练包括：

利用预处理后的训练数据集对卷积网络模型进行通道稀疏正则化训练。

进一步地，利用预处理后的训练数据集对卷积网络模型进行通道稀疏正则化训练包括：

将预处理后的训练数据集输入卷积网络模型，对卷积网络模型进行通道稀疏正则化训练，得到卷积网络模型的输出值、更新后的权重参数和BN层的缩放因子。

进一步地，缩放因子的个数与BN层的层数相同。

进一步地，利用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝包括：

在搭建卷积网络模型时，在卷积网络模型的卷积层之后插入BN层，通过对卷积网络模型进行训练，得到BN层的缩放因子和平移参数；