[发明专利]基于DCT变换的深度卷积神经网络压缩与加速方案

摘要

本发明公开了一种有效的卷积神经网络压缩方法(CNNpack)。深度卷积神经网络作为一种基本的深度学习结构在许多计算机视觉任务上得到了广泛的使用。然而，目前大多数的卷积神经网络由于其本身的大存储以及高计算量使得在移动设备上的应用得到了限制。本发明针对这个问题，在频域上对网络进行了压缩；通过将卷积核看做图像，将在频域上的表示分解为共同部分(聚类中心)与私人部分(残差)，然后将低能量的系数抛掉而不影响网络精度。此外，通过线性组合DCT基的卷积响应，可以使得网络计算成本降低。本发明具有压缩比高、加速比高的特点，可以用于压缩一般的深度卷积网络。

主权项

一种利用DCT变换表示的深度卷积神经网络压缩方案，包括下列步骤：1)提取所有卷积层的卷积核，并将它们变换到DCT频域上；2)将所有卷积核进行聚类，并分解成公共部分和独立部分；3)去掉独立部分中较小的数值，并对剩余的所有数据进行量化；4)对压缩后的网络进行微调，提升精度；5)利用霍夫曼编码，对量化后的数据进行压缩；6)在DCT频域上进行卷积计算。