[发明专利]基于模型蒸馏的人脸识别模型压缩方法、介质及终端

说明书

本发明提供一种基于模型蒸馏的人脸识别模型压缩方法、介质及终端，算法包括：获取用于人脸识别的初始网络模型；对所述初始网络模型进行通道剪枝处理，获取通道剪枝处理后的模型并对所述剪枝处理后的模型进行微调；以初始网络模型特征层为权重，对初始网络模型的特征层与微调后的模型特征层进行拟合，完成人脸识别模型蒸馏；本发明中的基于模型蒸馏的人脸识别模型压缩方法，不需要最后的分类层，大大提升了训练速度及节省显存，结合模型剪枝，通过剔除不重要的权重，压缩模型并提升速度，可以将大网络的知识精炼到小网络里面，提升了人脸识别的精度，满足了人脸识别等大规模分类任务上的需求。

技术领域

本发明涉及计算机应用领域，尤其涉及一种基于模型蒸馏的人脸识别模型压缩方法、介质及终端。

背景技术

近年来，深度神经网络(DNN,Deep Neural Network)作为一种极具成效的问题解决方式，已经广泛应用在计算机视觉、语音识别等诸多领域，如卷积神经网络CNN(Convolutional neural network)在计算机视觉诸多传统问题(分类、检测、分割)都超越了传统方法，在利用深度网络解决问题时，通常采用设计颇为复杂的网络收集更多的数据，以期获得更好的表现。但是，随之而来的是模型的复杂度急剧提升，直观的表现是模型参数越来越多，模型越来越大，需要的硬件资源(内存、显存、磁盘空间等)越来越高，不利于模型的部署和应用向移动端的推广，因此需要更小更精炼的模型用于部署。

所谓模型蒸馏就是将训练好的复杂模型推广能力“知识”迁移到一个结构更为简单的网络中，或者通过简单的网络去学习复杂模型中“知识”，蒸馏模型采用的是迁移学习，通过采用预先训练好的复杂模型(Teacher model)的输出作为监督信号去训练另外一个简单的网络，而在这个过程中，把深度学习模型移植到特定场景会限制模型大小及速度，故需要保证精度损失较低的情况下尽可能地压缩模型。

但是，针对人脸识别任务而言，由于参数量较大且存在冗余。虽然目前的蒸馏方式有很多，但是并不适用人脸识别任务，因为人脸识别最后的一个分类层类别数很多，参数量巨大，而传统的知识蒸馏通过教师模型输出每一个类别的概率，然后用小模型去拟合这个分布，但是对于人脸识别高达上百万类，这个分布很难拟合。目前现有的模型蒸馏算法在人脸识别等大规模分类任务上收效甚微，不能满足其参数量较大的实际需求。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种基于模型蒸馏的人脸识别模型压缩方法、介质及终端，以解决上述技术问题。

本发明提供的基于模型蒸馏的人脸识别模型压缩方法，包括：

获取用于人脸识别的初始网络模型；

对所述初始网络模型进行通道剪枝处理，获取通道剪枝处理后的模型并对所述剪枝处理后的模型进行微调；

将所述初始网络模型作为教师模型，将所述剪枝处理后的模型作为学生模型，并所述教师模型的特征层输出作为目标函数指导学生模型，通过学生模型的特征层对教师模型进行拟合，完成人脸识别模型蒸馏。

可选的，所述剪枝处理包括：

对所述初始网络模型的每一层特征进行全局池化处理，获取特征矩阵；

根据所述特征矩阵，获取每个通道的特征值及特征向量；

根据所述每个通道的特征值及特征向量，对每个通道的重要程度进行判断，将不符合预设标准重要程度的通道进行剔除。

可选的，对所述特征矩阵进行主成份分析，获取对应通道的特征值大小并进行归一化处理，

将归一化处理后的特征值进行排序；

根据预先设定的每层保存的能量，按降序排序依次选取通道，使总能量不小于预先设定的每层保存的能量，将剩余的通道进行剔除处理，完成通道剪枝。