[发明专利]基于自适应联合剪枝-量化的神经网络压缩算法

说明书

本发明提出一种基于自适应联合剪枝‑量化(AJP‑Q)的网络压缩算法对神经网络进行压缩加速，提高智能交通的多目标车辆在线跟踪准确率和效率。本发明提出的AJP‑Q压缩算法可以联合执行权重修剪和量化，通过微调预先训练的神经网络来学习压缩网络，并移除连接和减少编码剩余连接所需的位数，得到稀疏的网络连接，通过共享权重进行分区，接着量化全精度权重更新权重，将更新后的权重值进行前向传播和反向传播，达到最大迭代数。此算法利用了权重修剪和量化的互补性，并从过早修剪错误中恢复过来，随着时间推移做出灵活的剪枝和量化策略。改进了现有方法分别执行剪枝和量化的过程，并且在第一阶段产生的误差在第二阶段无法矫正问题。本算法通过在KITTI数据集上对SAVD_VGG网络进行的压缩试验，结果显示，相比未压缩的网络模型在不影响精度(精度仅下降3％)的前提下运行速度提升近10倍，且网络模型尺寸较小、精简紧凑、具有较低的计算开销和占用较小内存的优势，能够在车载平台下实时的对前方车辆视频流进行检测。

技术领域

本发明提出一种基于自适应联合剪枝-量化AJP-Q(Adaptive Joint Pruning-Quantization)的网络压缩算法对神经网络进行压缩加速，提高智能交通的多目标车辆在线跟踪准确率和效率，属于智能交通系统的多目标车辆在线跟踪。

背景技术

神经网络已成为各种视觉识别任务不可或缺的工具，然而现代神经网络通常过于参数化，随着可学习连接数量的增加，使得当前的趋势朝向更深和更密集连接的体系结构发展，使深度学习模型存在显著的冗余。这使得模型很难部署在硬件资源有限的嵌入式系统上。为解决这个限制，研究者致力于研究网络压缩这一领域。

⒈网络剪枝

网络剪枝是一种常用且直观的网络压缩方法，从预训练网络中删除“不重要”连接，然后微调稀疏网络以恢复准确性。最早的剪枝方法基于网络损耗的二阶导数去除连接。但由于神经元之间复杂的相互作用，确定连接的重要性是困难的：当其他连接被移除时，最初看起来不重要的连接可能变得重要，这对修剪算法提出了重大挑战。网络剪枝除了用于压缩网络，还被用来规范全卷积网络的训练，减少学习中的过拟合，并为电池供电设备产生节能型网络。

2.参数量化

权重量化指对权重值范围进行离散化的过程，以便使用更少的比特来表示每个权重。深度压缩分别执行权重量化和修剪，量化级别是线性分布的，以覆盖权重范围。基于加权熵的量化使用加权熵测量并分配量化等级。

3.知识蒸馏和低秩分解

除了网络剪枝和权重量化外，还可以应用知识蒸馏和低秩分解方法来训练或微调网络模型使之变得紧凑。知识蒸馏，通过使用教师网络中间层的输出的加权组合来训练学生网络，使学生网络更紧凑。低秩分解利用滤波器和特征映射响应中的冗余，利用卷积层的低秩结构，将全秩卷积分解成具有水平基滤波器的卷积，从而达到压缩网络的目的，是网络更紧凑，并在测试时加速网络推理、减少网络训练时间，以期能部署在嵌入式开发平台实现车载平台下的车辆检测。

网络剪枝是一种压缩策略，其中网络连接被减少或稀疏化；权重量化是另一种策略，其中连接权重被约束到一组离散值，允许使用较少的位来表示权重。然而，现有方法分别执行修剪和量化,没有利用权重修剪和量化的互补性质，并且在第一阶段中产生的误差在第二阶段中无法校正。

发明内容

本发明在综合各类压缩算法的基础上，提出了一种网络压缩算法AJP-Q：可以联合执行权重修剪和量化，通过微调预先训练的神经网络来学习压缩网络，并移除连接和减少编码剩余连接所需的位数。此算法利用了修剪和量化的互补性，并从过早修剪错误中恢复过来。为达到上述目的，本发明的技术方案为：

一种联合剪枝量化的灵活网络压缩算法，包括下述步骤：

步骤一、对全精度网络权重值执行剪枝操作，网络学习有效连接

步骤二、得到稀疏的网络连接；