[发明专利]一种基于互动式的知识蒸馏方法在审
| 申请号： | 202010742813.3 | 申请日： | 2020-07-29 |
| 公开（公告）号： | CN114065940A | 公开（公告）日： | 2022-02-18 |
| 发明（设计）人： | 付仕鹏;周杨;杨晓敏 | 申请（专利权）人： | 四川大学 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 610065 四川*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于互动式的知识蒸馏方法，包括以下步骤：(1)设计双路径混合模块，将其替换学生网络模块进行知识蒸馏训练；(2)在知识蒸馏进行之前，教师模块卷积层的参数都将从训练好的教师网络中的相对应的模块拷贝而来，并且在知识蒸馏的过程中不会被更新，而学生模块卷积层的参数则会被随机初始化；(3)在每一次网络训练迭代中，利用双路径混合模块随机换入教师网络的模块来替换学生网络的模块；(4)根据均衡策略、线性策略和复习策略这三种策略分别对网络进行知识蒸馏训练；(5)在实际的应用中，需要将学生网络从混合网络中分离出来，单独使用。本发明在知识蒸馏方法中效果极佳，蒸馏得到的学生网络的性能能够有效逼近教师网络的性能。 | ||
| 搜索关键词： | 一种 基于 互动式 知识 蒸馏 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于四川大学，未经四川大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010742813.3/，转载请声明来源钻瓜专利网。
