[发明专利]知识蒸馏方法及装置、存储介质及电子设备在审
| 申请号： | 202111424814.4 | 申请日： | 2021-11-26 |
| 公开（公告）号： | CN114139703A | 公开（公告）日： | 2022-03-04 |
| 发明（设计）人： | 刘飒;冯天鹏;郭彦东 | 申请（专利权）人： | 上海瑾盛通信科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人： | 刘抗美 |
| 地址： | 200030 上海市*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及模型压缩技术领域，具体涉及一种知识蒸馏方法及装置、计算机可读存储介质及电子设备，方法包括：构建未训练的学生网络和完成预训练的教师网络；将训练数据输入学生网络得到训练数据的第一输出特征，并采用预设温度系数的归一化指数函数获取第一输出特征的各通道的第一激活值分布；将训练数据输入教师网络得到训练数据的第二输出特征，并采用归一化指数函数获取第二输出特征各通道的第二激活值分布；根据第一激活值分布和第二激活值分布确定目标蒸馏损失；根据训练数据确定学生网络的回归损失；根据回归损失和蒸馏损失更新学生网络的网络参数。本公开实施例的技术方案提升知识蒸馏的精度，使得得到的学生网络的准确度更好。 | ||
| 搜索关键词： | 知识 蒸馏 方法 装置 存储 介质 电子设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海瑾盛通信科技有限公司，未经上海瑾盛通信科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111424814.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种霍尔效应电流传感器
- 下一篇：一种通用式小直径薄壁管弯制装置
