[发明专利]基于云边协同的定制化深度神经网络模型压缩方法及系统

说明书

本发明公开了一种基于云边协同的定制化深度神经网络模型压缩方法及系统，该方法基于云端经过长时间训练的高精度的网络模型，基于用户的个性化需求，将网络模型分类关注的分类和不关注的分类，然后结合关注的分类、用户的数据集和模型压缩的比例，通过基于知识整理的神经网络模型压缩方法，进行模型的轻量化，满足用户边缘侧节点资源受限的场景需求，提升模型推理的速度，同时保证一定的模型精确度。本发明基于用户关注分类需求和知识蒸馏技术的模型训练方法，并在图片分类的场景下基于公共的数据集进行了验证。

技术领域

本发明属于边缘计算和深度学习领域，尤其涉及一种基于云边协同的定制化深度神经网络模型压缩方法及系统。

背景技术

深度学习是人工智能领域重要的一个分支。深度学习通过深度神经网络，在机器视觉、NLP和语音识别等领域产生越来越重要的影响力。随着边缘计算的发展，深度学习开始在更广泛的硬件设备上发挥更重要的价值-即“边缘赋能”，这使得物联网中的许多硬件具有的更强大的识别、检测、智能化处理能力。然而，边缘计算场景下的许多硬件设备的计算能力都比较弱，深度神经网络推理的速度也比较慢，如何在部署到边缘设备和终端设备前，对深度神经网络模型进行优化和加速，是人工智能落地面临的一个难题。

边缘节点和终端运行神经网络模型主要面临两个问题，一是边缘节点和终端的内存都比较小，而一些深度神经网络模型运行的体积比较大，如用于图片分类的VGG-16网络，模型有138M个参数，每个参数的类型为float32，则模型本身的运行开销至少为552MB。二是边缘节点和终端的计算能力比较差，遇上实时性比较高的应用场景，如自动驾驶，推理的时延将至关重要。而深度神经网络模型比较大，在资源能力比较低的情况下，推理时延比较高。某些模型的推理时间甚至是秒级别。

目前模型压缩的算法主要有四种：一、设计更轻量化的神经网络。模型参数的冗余是保证模型得到良好训练的前提。通过对模型更细致、高效、轻量化的设计，减少模型尺寸，满足边缘侧和终端资源的需求，如SqueezeNet、MobileNet都是经过精细设计的精度比较好的网络结构。二、剪枝。通过一定的度量标准、对已经训练好的复杂的网络结构进行重要性评估，将不重要的权重、卷积核、通道及卷积层进行裁剪的一种技术。三、知识蒸馏。将复杂模型中的分布信息和特征信息通过知识迁移的方式，转移到轻量化的模型结构中，不但可以加快收敛的速度，也可以使轻量化模型学习一些复杂模型的样本集没有的特征，使模型具有更好的泛化能力。四、量化。量化没有从根本上改变复杂网咯的模型结构，而是通过减少每个权重所需要的比特数来压缩原始网络，从而达到减少内存开销，加快推理计算的目的。

但上面的这些方法都没有充分的与碎片化边缘场景的用户需求相结合，导致云端提供的网络模型与用户需求的网络模型不匹配或者“赋能过载”，同时模型轻量化后的推理精度比较低。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于云边协同的定制化深度神经网络模型压缩方法及系统。本发明可以解决边缘场景受限于硬件约束的问题，如CPU/GPU/NPU/内存的大小和计算能力不足，导致无法边缘侧部署或进行实时推理的问题；在碎片化边缘场景下，基于用户的定制化需求进行模型压缩和加速。

本发明的目的是通过以下技术方案来实现的：一种基于云边协同的定制化深度神经网络模型压缩方法，边缘侧的用户接收云端传输的深度神经网络模型，并根据用户的定制化需求和用户的数据集，进行深度神经网络模型的训练。采用云边协同的方法。由云端提供一个普适性更强的通用神经网络模型，而边缘侧根据用户的需求，使用边缘侧的硬件资源环境对模型进行二次训练和优化，以达到模型加速的目的。采用知识蒸馏的方法，来迁移云端提供的深度神经网络模型的特征到轻量化的网络模型中。

进一步地，允许用户使用两种不同的方式进行轻量化模型的训练：

a1)在模型训练的时候，轻量化模型的分类信息与云端的模型保持一致。等待完成模型训练后，再根据用户个性化的需求进行后处理。