[发明专利]基于模型蒸馏的人脸识别模型压缩方法、介质及终端有效
申请号: | 201910187016.0 | 申请日: | 2019-03-13 |
公开(公告)号: | CN111695375B | 公开(公告)日: | 2021-04-20 |
发明(设计)人: | 周曦;周翔;姚志强;李夏风;谭涛;王曦;温浩;万珺 | 申请(专利权)人: | 上海云从企业发展有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 尹丽云 |
地址: | 201203 上海市浦东新区中国(上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 模型 蒸馏 识别 压缩 方法 介质 终端 | ||
1.一种基于模型蒸馏的人脸识别模型压缩方法,其特征在于,包括:
获取用于人脸识别的初始网络模型;
对所述初始网络模型进行通道剪枝处理,获取通道剪枝处理后的模型并对所述剪枝处理后的模型进行微调;设置辅助损失函数,利用所述辅助损失函数对所述微调后的模型再次进行正则项分段处理;将同一输入量分别输入至所述微调后的模型和经过正则项分段处理后的模型,分别获取每个通道的绝对值之和;根据所述每个通道的绝对值之和判断各通道的稳定性,将不符合预设稳定性的通道进行剔除处理,完成通道剪枝;
将所述初始网络模型作为教师模型,将所述剪枝处理后的模型作为学生模型,并将所述教师模型的特征层输出作为目标函数指导学生模型,通过学生模型的特征层对教师模型进行拟合,完成人脸识别模型蒸馏。
2.根据权利要求1所述的基于模型蒸馏的人脸识别模型压缩方法,其特征在于,所述剪枝处理包括:
对所述初始网络模型的每一层特征进行全局池化处理,获取特征矩阵;
根据所述特征矩阵,获取每个通道的特征值及特征向量;
根据所述每个通道的特征值及特征向量,对每个通道的重要程度进行判断,将不符合预设标准重要程度的通道进行剔除。
3.根据权利要求2所述的基于模型蒸馏的人脸识别模型压缩方法,其特征在于,
对所述特征矩阵进行主成份分析,获取对应通道的特征值大小并进行归一化处理,
将归一化处理后的特征值进行排序;
根据预先设定的每层保存的能量,按降序排序依次选取通道,使总能量不小于预先设定的每层保存的能量,将剩余的通道进行剔除处理,完成通道剪枝。
4.根据权利要求2所述的基于模型蒸馏的人脸识别模型压缩方法,其特征在于,
设置辅助损失函数,通过所述辅助损失函数使权重大于0的部分趋于1,权值小于0的部分趋于-1。
5.根据权利要求2所述的基于模型蒸馏的人脸识别模型压缩方法,其特征在于,当初始网络模型中含有两个输入分支层时,其每个分支的通道数相同。
6.根据权利要求5所述的基于模型蒸馏的人脸识别模型压缩方法,其特征在于,当初始网络模型中含有两个及以上的输入层时,分别对左分支和右分支进行剪枝处理,当左分支和右分支对同一通道均判定为需要进行剪枝时,则对该通道进行剔除处理,当左分支和右分支的仅有一支判定为需要进行剪枝时,则对该通道进行保留处理。
7.根据权利要求6所述的基于模型蒸馏的人脸识别模型压缩方法,其特征在于,所述左分支进行剪枝后剩余通道为C_{1}C1,所述右分支进行剪枝后剩余通道为C_{2}C2,原始elewise的通道数为CC,
其中,C_{1}C1及C_{2}C2均为原始通道CC的子集,
分别记录两个分支相对于CC保留的通道的索引,取并集通道为C_{3}C3,
其中,C_{3}C3大于等于C_{1}C1及C_{2}C2,且小于等于CC。
8.根据权利要求7所述的基于模型蒸馏的人脸识别模型压缩方法,其特征在于,在每个分支在进行剪枝处理后,增加通道垫层,对通道进行补0对齐,
其中,左分支补齐的通道数为C_{3}-C_{1}C3-C1,右分支补齐的通道数为C_{3}-C_{2}C3-C2;
记录各个通道相对于剪枝前的通道的索引,根据所述索引向对应的通道拷贝数据。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现权利要求1至8中任一项所述方法。
10.一种电子终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行如权利要求1至8中任一项所述方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海云从企业发展有限公司,未经上海云从企业发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910187016.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:近眼显示装置
- 下一篇:整车腐蚀试验与实验室加速腐蚀试验相关性的修正方法