[发明专利]基于特征空间变化的蒸馏学习方法、系统、装置有效
| 申请号： | 201910360632.1 | 申请日： | 2019-04-30 |
| 公开（公告）号： | CN110135562B | 公开（公告）日： | 2020-12-01 |
| 发明（设计）人： | 刘雨帆;胡卫明;杜贵和;原春锋;李兵;王佳颖;叶子 | 申请（专利权）人： | 中国科学院自动化研究所;国网通用航空有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 北京市恒有知识产权代理事务所(普通合伙) 11576 | 代理人： | 郭文浩;尹文会 |
| 地址： | 100190 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于计算机视觉及机器学习领域，具体涉及了一种基于特征空间变化的蒸馏学习方法、系统、装置，旨在解决学生网络无法学习教师网络全局知识的问题。本发明方法包括：按照蒸馏学习教师网络的参数结构构建对应的学生网络；分别选取预设的网络层，计算每一层的特征空间表示以及特定两个层间的跨层特征空间变化矩阵；计算基于特征空间变化的损失函数，根据真实标签计算分类损失函数；通过两个损失函数的加权将教师网络的特征空间变化作为知识迁移到学生网络中。本发明将教师网络层与层之间的特征空间变化刻画为一种新的知识，从而，使得学生网络在学习层与层之间的特征空间变化时，就学习到整个教师网络全局的知识。 | ||
| 搜索关键词： | 基于 特征 空间 变化 蒸馏 学习方法 系统 装置 | ||
【主权项】：
1.一种基于特征空间变化的蒸馏学习方法，其特征在于，包括：步骤S10，根据蒸馏学习的教师网络的通道数、计算复杂度、存储空间要求，构建蒸馏学习的学生网络；步骤S20，选取所述教师网络预设层、所述学生网络的相应层作为样本蔟，分别计算每个样本蔟的样本在所述教师网络、学生网络中每一层的特征空间表示；步骤S30，基于所述每个样本蔟的样本在教师网络、学生网络中每一层的特征空间表示，分别计算所述教师网络、学生网络的跨层特征空间变化矩阵；步骤S40，基于所述教师网络、学生网络的跨层特征空间变化矩阵，计算目标损失函数并通过所述目标损失函数将所述教师网络的跨层特征空间变化作为知识迁移到所述学生网络中，获得学习后的学生网络。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所;国网通用航空有限公司，未经中国科学院自动化研究所;国网通用航空有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910360632.1/，转载请声明来源钻瓜专利网。
