[发明专利]基于自适应联合剪枝-量化的神经网络压缩算法

摘要

本发明提出一种基于自适应联合剪枝‑量化(AJP‑Q)的网络压缩算法对神经网络进行压缩加速，提高智能交通的多目标车辆在线跟踪准确率和效率。本发明提出的AJP‑Q压缩算法可以联合执行权重修剪和量化，通过微调预先训练的神经网络来学习压缩网络，并移除连接和减少编码剩余连接所需的位数，得到稀疏的网络连接，通过共享权重进行分区，接着量化全精度权重更新权重，将更新后的权重值进行前向传播和反向传播，达到最大迭代数。此算法利用了权重修剪和量化的互补性，并从过早修剪错误中恢复过来，随着时间推移做出灵活的剪枝和量化策略。改进了现有方法分别执行剪枝和量化的过程，并且在第一阶段产生的误差在第二阶段无法矫正问题。本算法通过在KITTI数据集上对SAVD_VGG网络进行的压缩试验，结果显示，相比未压缩的网络模型在不影响精度(精度仅下降3％)的前提下运行速度提升近10倍，且网络模型尺寸较小、精简紧凑、具有较低的计算开销和占用较小内存的优势，能够在车载平台下实时的对前方车辆视频流进行检测。

主权项

1.本发明提出的网络压缩算法AJP‑Q可以联合执行权重修剪和量化，通过微调预先训练的神经网络来学习压缩网络，并移除连接和减少编码剩余连接所需的位数。此算法利用了修剪和量化的互补性，并能够从早修剪错误中及时恢复过来，改进了现有方法分别执行剪枝和量化的过程，并且在第一阶段产生的误差在第二阶段无法矫正问题。主要包括以下步骤：步骤一、对全精度网络权重值执行剪枝操作，网络学习有效连接；101、首先设置两个截止点标量d^‑和d⁺，用超参数p来确定，使得统一卷积层中(p×100)％的正权重值小于或等于d⁺，同时使(p×100)％的负权重值大于或等于d^‑。而位于d^‑和d⁺之间的所有权重在下一个前向传递中设置为零。此时会在处理下一个小批量(mini‑batch)时从网络中删除相应的连接。这种剪枝决策时暂时的，在下一次迭代中，用上述表述的规则重新作用于更新后的参数，则之前被剪枝的连接可能会重新出现。虽然超参数p是常数，但阈值d^‑和d⁺在每次迭代中改变。剪枝这一步骤能够将SAVD_VGG网络参数降低到原来的1/13。总体上，通过网络训练学习连接，将小于一定阈值权值直接移除，最终得到稀疏的网络连接。步骤二、得到的最终稀疏网络连接采用稀疏压缩行(CSR)存储稀疏权重矩阵，设存在a个非0元素，行数为n，则共需要2a+n+1个存储单元。存储时采用3元组结构：先存储a个非零数，稀疏矩阵记为A；非零数所在列的列号；每行首个元素在A中的位置。步骤三、对全精度权重进行共享并分区；301、将未被减掉的权重值分到不同的量化区间进行权重共享，这些量化区间被可视化为不同的颜色范围。给定权重宽b，可将数轴划分为2^b‑1个分区(划分为类)，再加上被修剪了的从d^‑到d⁺的0分区。权重共享限制了需要存储的有效权重的数量从而进一步压缩剪枝后的网络。302、具体的权重共享分区策略使用K‑means聚类算法来确定训练网络中每一层的共享权重，所有属于同一个聚类的权重都将共享相同的权重，权重不能跨层共享。将n个原始权重W＝{w₁,w₂,K,w_n}分为k个簇C＝{c₁,c₂,K,c_k}，其中n＞＞k，以聚类算法最小化类内误差，目标函数如下所示：步骤四、量化全精度权重并更新权重值；网络量化通过减少表示每个权重所需的位数进一步压缩网络。通过对落入相应量化分区内的全精度权重求平均值来计算每个量化区间的量化值。然后，通过在下一个前向传播中将他们设置为新的量化级别来量化权重。随着网络学习的进展，量化值和权重的分配随着时间的推移不断变化。步骤五、用更新后的权重值进行前向传播计并算损失值；用量化好的权重值进行前向传播计并算损失值。在训练期间，全精度量化值用于剪枝‑量化操作中前向计算。在前向传播阶段存在一级间接查找权重表，为每个连接存储共享权重表的索引，计算时查表即可。步骤六、反向传播以更新全精度权重值，最后达到最大迭代数。用量化好的权重值进行反向传播更新权重。反向传播用于更新权重值。用L表示损失函数，第i列和第j行的权重由W_ij表示，I_ij为聚类中心的索引，C_k为第k个聚类中心，1(·)为指示函数，则梯度计算如下所示：每次用小批量样本进行训练时都会更新剪枝状态、量化级别及其分配。当先前修剪的连接可能再次变得相关时，可以将其拼接回网络。此外，可以重新分配量化级别，量化级别本身随时间演进。训练期间对全精度权重进行微调，并在训练完成后丢弃。