[发明专利]一种基于小样本的网络模型压缩云端服务方法和装置

权利要求书

1.一种基于小样本的网络模型压缩云端服务方法，应用于车载设备，其特征在于，包括以下步骤：

获取用户通过车载设备端上传的数据信息，所述数据信息包括待压缩模型的信息、第一样本集合和压缩要求；

根据所述待压缩模型的信息和所述压缩要求确定压缩方案，并根据所述第一样本集合生成第二样本集合，并计算所述第二样本集合中各个样本的初始置信度，其中，所述第二样本集合包括具有与所述第一样本集合中第一样本的第一标签相关联的第二标签的第二样本；

根据所述压缩方案和所述各个样本的初始置信度对待压缩模型进行迭代式压缩优化，以获得初步压缩模型；

根据所述第一样本集合对所述初步压缩模型进行微调，以得到目标压缩模型，

在得到所述目标压缩模型之后，还包括：

在所述车载设备端下载所述目标压缩模型供用户使用，

其中，所述待压缩模型的信息包括模型结构，所述根据所述待压缩模型的信息和所述压缩要求确定压缩方案包括：

根据所述模型结构搜索相同模型在其他任务上的压缩结果，获取其他任务上满足所述压缩要求的模型各层保留通道数，将所述模型各层保留通道数作为任务上的历史模型压缩经验；

所述模型各层保留通道数为：

其中，L为模型层数,M为检索到满足要求的相关模型的数量。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一样本集合生成第二样本集合包括：

根据所述第一样本集合，搜索与所述第一样本的第一标签的相似度高于预设阈值的第二标签，并将具有所述第二标签的第二样本加入至第二样本集合。

3.如权利要求1所述的方法，其特征在于，所述计算所述第二样本集合中各个样本的初始置信度包括：

根据所述第二样本集合及待压缩模型的信息获取模型的最后特征层的输出，通过下述公式计算所述第二样本集合中各个样本的初始置信度：

其中F(x_i；Θ)表示所述待压缩模型信息包含的待压缩模型特征层的输出,F(x_i；Θ)_j表示F(x_i；Θ)的第j个值，τ为给定的数值平滑常数，该公式表示对于任意x_i∈D₁，属于第j类的概率，D₁表示所述第二样本集合。

4.如权利要求1所述的方法，其特征在于，所述根据所述压缩方案和所述各个样本的初始置信度对待压缩模型进行迭代式压缩优化，包括：

根据所述历史模型压缩经验初始化保留通道数；

优化初始化后的保留通道数，根据优化后的各层保留通道数进行优化压缩模型，生成初步压缩模型。

5.如权利要求4所述的方法，其特征在于，根据所述历史模型压缩经验，通过下述公式初始化保留通道数：

其中d为各层保留通道数，M为检索到满足要求的相关模型的数量，i为自变量，i＝0，...,M。