|
钻瓜专利网为您找到相关结果 3721521个,建议您 升级VIP下载更多相关专利
- [发明专利]一种神经网络蒸馏方法及装置-CN202010615537.4在审
-
许奕星;陈醒濠;王云鹤;许春景
-
华为技术有限公司
-
2020-06-30
-
2020-11-03
-
G06N3/04
- 本申请公开了一种神经网络蒸馏方法,应用于人工智能领域,包括:通过第一神经网络和第二神经网络对待处理数据进行处理,以获取第一目标输出和第二目标输出,第一目标输出为对第一神经网络层的输出进行基于核函数的变换得到的,第二目标输出为对第二神经网络层的输出进行基于核函数的变换得到的;根据第一目标输出和第二目标输出构建的目标损失对第一神经网络进行知识蒸馏。本申请对第一神经网络层的输出和第二神经网络层的输出进行了基于核函数的变换,进而可以将第一神经网络层和第二神经网络层输入和权重映射到高维特征空间,消除了知识蒸馏时由于神经网络层的权重分布不同而造成的网络性能降低
- 一种神经网络蒸馏方法装置
|