[发明专利]基于三目标联合优化的神经网络轻量化部署方法

说明书

本发明涉及一种基于三目标联合优化的神经网络轻量化部署方法，包括在边缘侧设备上挂载终端设备，边缘侧设备具有计算单元以及能够实现数据传输的连接触点，将初始网络模型M和目标函数输入至计算单元中，对初始网络模型M进行剪枝得到优化后的最优网络模型M’；将最优网络模型M’通过连接触点传输至终端设备；利用终端设备上的摄像装置实时采集待识别目标的图像序列；将图像序列输入至最优网络模型M’中，输出识别结果。本发明将经过剪枝优化后的轻量化网络模型部署在低算力或者要求低能耗场景下的终端设备上，以实现终端设备的轻量化运算，克服了大规模神经网络模型无法部署在性能、电量受限的终端设备上的局限性。

技术领域

本发明涉及边缘智能场景下神经网络压缩技术领域，尤其是指一种基于三目标联合优化的神经网络轻量化部署方法。

背景技术

目前，卷积神经网络（Convolutional Neural Networks, CNN）在计算机视觉、自然语言处理等任务上取得了巨大的成功，并且已经应用于众多实际应用中。例如无人机设备等，无人机设备可以被用于执行火灾救援、蓝藻爆发、流域污染等监测任务。无人机设备在执行任务时需要通过摄像头拍摄目标图像，将目标图像输入至卷积神经网络中进行目标识别。为了提升目标识别的精度，这类卷积神经网络的层数较深，结构也越发复杂。这样的模型需要大量的存储空间，同时十分耗费计算资源，使其很难部署在低算力或者要求低能耗的场景下，例如上述的边缘智能场景下的无人机设备。因此对模型进行压缩可以有效减少计算空间和时间的消耗，提高模型的运行效率。主流的压缩方法包括：低秩分解、剪枝、量化、知识蒸馏等，其中剪枝方法简单有效，是该领域的研究热点。

目前比较主流的剪枝算法主要包括非结构化剪枝和结构化剪枝两大类：（1）非结构化剪枝直接针对模型中的参数进行剪枝，通常会根据权值、梯度等不同的方式衡量参数的重要性，不重要的参数会被剪除，是一种细粒度的剪枝方式。这种非结构剪枝的方法虽然能够有效的压缩模型，但是得到的稀疏权重矩阵需要特殊的硬件设备支持。而且因为只压缩模型参数，所以模型的运算速度不能得到提升。（2）结构化剪枝是对模型中的滤波器、通道等结构进行剪枝，通过在损失函数中加入卷积核中权值L1、L2正则项的方法评价卷积核的重要性，结构化剪枝不需要特殊硬件支持，并且能够同时减少冗余参数和计算资源的消耗。因此目前大部分剪枝算法是对网络模型的结构化剪枝，但是结构化剪枝对于每一层需要设定超参数，并且进行剪枝的时候，网络需要迭代多次才能收敛。非专利文献1（Shangqian Gao, Feihu Huang, Jian Pei, and Heng Huang. Discrete modelcompression with resource constraint for deep neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages1899–1908, 2020.）采用离散粒子群优化和可微离散门在给定的FLOPs预算下搜索最佳精度子网络，其缺点在于是在给定FLOPs预算下搜索精度最高的解，是一个单一目标优化，由于FLOPs是固定给出的，无法在优化中调整FLOPs的最优值，这导致其泛化性较差。

因此，迫切需要提供一种基于多目标优化的大规模神经网络轻量化部署方法，从而实现终端设备的轻量化运算。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于三目标联合优化的神经网络轻量化部署方法，其将经过剪枝优化后的轻量化网络模型部署在低算力或者要求低能耗场景下的终端设备上，以实现终端设备的轻量化运算，克服了大规模神经网络模型无法部署在性能、电量受限的终端设备上的局限性。

为解决上述技术问题，本发明提供一种基于三目标联合优化的神经网络轻量化部署方法，包括以下步骤：