[发明专利]基于个体学习的模型蒸馏改进方法、设备及存储介质

说明书

本发明公开了一种基于个体学习的模型蒸馏改进方法，所述方法包括以下步骤：将预选训练集输入教师网络，经所述教师网络筛选后生成代表样本和非代表样本；确定学生网络用于处理代表样本的第一损失函数及用于处理非代表样本的第二损失函数；将所述预选训练集输入学生网络，经所述第一损失函数与第二损失函数训练得到训练后的学生网络。本发明还公开了一种智能设备及计算机可读存储介质。通过采用不同的损失函数对代表样本与非代表样本进行训练，提高了学生网络对于代表样本所属类别的表征能力，进而提高了学生网络对于单个样本所属类别的表征能力。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于个体学习的模型蒸馏改进方法、智能设备及计算机可读存储介质。

背景技术

近年来，深度学习越来越受到人们的关注，并成功应用于众多领域。但是随着移动终端设备的灵活性及其应用范围的广泛性的不断提高，越来越深的网络模型，对于计算机设备的算力与存储能力也提出了更高的要求。因而如何对深度神经网络模型进行压缩以适应更多轻便的移动设备和实时应用场景成为众多领域的研究热点。

知识蒸馏作为模型压缩的一个主要研究方向，其主要思路是训练一个小模型(学生网络)来学习大模型(教师网络)的能力。目前主要有以下几种学习方法：第一种是基于传统的0，1标签构造交叉熵损失进行学习；第二种是使用学生网络的soft标签来帮助学生网络学习教师网络的能力；第三种是直接使用学生网络去拟合教师网络的一个中间层；第三种是使用学生网络去学习教师网络中多个中间层来提高学生网络的学习能力；第四种是通过学生网络学习教师网络多个样本间的关系，然而，上述这些蒸馏方法往往都是基于训练集中的单个样本进行蒸馏，对于一些识别和分类任务，尤其是人脸识别任务，更关注某张图片是否属于某个人。因而，现阶段的蒸馏法存在对于单个样本所属类别的表征能力较差的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明主要目的在于提供一种基于个体学习的模型蒸馏改进方法、智能设备及计算机可读存储介质，旨在解决现有技术中的蒸馏学习方法存在的对单个样本所属类别的表征能力较差的问题。

为实现上述目的，本发明提供一种基于个体学习的模型蒸馏改进方法，所述方法包括以下步骤：

将预选训练集输入教师网络，经所述教师网络筛选后生成代表样本和非代表样本；

确定学生网络用于处理代表样本的第一损失函数及用于处理非代表样本的第二损失函数；

将所述预选训练集输入学生网络，经所述第一损失函数与第二损失函数训练得到训练后的学生网络。

可选地，所述经所述教师网络筛选后生成代表样本和非代表样本的步骤包括：

根据两个不同类别样本的样本特征计算第一欧式距离，并根据其中一个样本的样本特征及其所属类别的样本中心特征计算第二欧式距离；

根据最小的第一欧氏距离与所述第二欧氏距离确定样本的选择因子；

根据所述选择因子筛选出预选训练集中的代表样本与非代表样本。

可选地，所述根据所述选择因子筛选出所述训练集中的代表样本与非代表样本的步骤包括：

判断所述选择因子是否小于预设阈值；

若所述选择因子小于预设阈值，则判定当前样本为代表样本；

若所述选择因子大于或等于预设阈值，则判定当前样本为非代表样本。

可选地，所述确定学生网络用于处理代表样本的第一损失函数及用于处理非代表样本的第二损失函数的步骤之后包括：

根据教师网络的损失函数、教师网络的特征层以及学生网络的特征层，确定学生网络用于处理代表样本的第一损失函数。