[发明专利]基于云边协同的定制化深度神经网络模型压缩方法及系统

权利要求书

1.一种基于云边协同的定制化深度神经网络模型压缩方法，其特征在于，边缘侧的用户接收云端传输的深度神经网络模型，并根据用户的定制化需求和用户的数据集，进行深度神经网络模型的训练。采用云边协同的方法。由云端提供一个普适性更强的通用神经网络模型，而边缘侧根据用户的需求，使用边缘侧的硬件资源环境对模型进行二次训练和优化，以达到模型加速的目的。采用知识蒸馏的方法，来迁移云端提供的深度神经网络模型的特征到轻量化的网络模型中。

2.如权利要求1所述基于云边协同的定制化深度神经网络模型压缩方法，其特征在于，允许用户使用两种不同的方式进行轻量化模型的训练：

a1)在模型训练的时候，轻量化模型的分类信息与云端的模型保持一致。等待完成模型训练后，再根据用户个性化的需求进行后处理。

a2)在模型训练的时候，修改轻量化模型的分类信息，修改模型优化的损失函数，知识蒸馏过程中，只迁移用户关注的特征信息，而无需后处理的过程。

3.如权利要求1所述基于云边协同的定制化深度神经网络模型压缩方法，其特征在于，所述知识蒸馏的方法，可以使用两种不同的方式实现：

b1)可以基于模型分类Logits的分布信息设计损失函数，将Logits的分布特征迁移到轻量化的网络模型中。

b2)可以基于模型的通道信息设计损失函数，将Channels的特征图迁移到轻量化的网络模型中。

4.一种基于云边协同的定制化深度神经网络模型压缩系统，其特征在于，包括：

大模型生成模块。大模型指具备多种能力，且结构比较复杂的深度神经网络模型。该模块是根据云端的具体资源状况，输出复杂且具有多种分类或识别能力的模型。

模型分发模块。模型分发模块主要用于通过云边协同，将模型传输到边缘节点上。分发的数据包括且不限于模型文件、配置文件和若干与模型相关的说明文件。模型的分发机制可以通过进程间的通信机制完成，也可以通过一些传统的文件协议如Samba，NFS等实现。

边缘侧模型压缩模块。该模块是进行边缘侧模型压缩和处理的核心模块，其输入为用户个性化的数据集、云端分发的大模型和用户关注的分类信息或者目标检测信息，输出为一个能够在边缘侧或者终端侧部署的轻量化模型。

模型部署模块。该模块完成轻量化模型的接入或部署。部署可以以应用程序的方式，也可以基于容器机制。

5.根据权利要求4所述基于云边协同的定制化深度神经网络模型压缩系统，其特征在于，所述边缘侧模型压缩模块，拥有两种实现方式，包括：

3.1、先经过全部分类蒸馏，然后对输出的轻量化模型进行处理。

3.2、直接使用子类蒸馏训练的方法。

6.根据权利要求5所述基于云边协同的定制化深度神经网络模型压缩系统，其特征在于，所述子类蒸馏训练的方法，实现方式有两种选择途径，包括：

3.2.1、训练过程中，采用基于Logits的子类蒸馏的方式。

3.2.2、训练过程中，采用基于Channels的子类蒸馏的方式。