[发明专利]一种迁移学习的方法及装置在审
| 申请号： | 202110492357.6 | 申请日： | 2021-05-06 |
| 公开（公告）号： | CN113240082A | 公开（公告）日： | 2021-08-10 |
| 发明（设计）人： | 李兴建;华航;须成忠;窦德景 | 申请（专利权）人： | 北京百度网讯科技有限公司;澳门大学智慧城市物联网国家重点实验室 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06N20/00;G06K9/62 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 王萌 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本公开公开了一种针对多层Transformer预训练模型的迁移学习方法及设备，涉及计算机技术领域，尤其涉及深度学习领域。具体实现方案为：获取预训练模型，根据预训练模型生成待迁移模型，其中，所述待迁移模型包括N层转换Transformer层，其中，N为正整数；对目标训练集进行随机采样，以获取样本集合；根据所述样本集合对所述待迁移模型进行训练，其中，每层Transformer层的损失值根据经验损失值和噪声稳定性损失值生成。本公开实施例通过将噪声样本和样本集合输入待迁移模型获取噪声稳定性损失值和Transformer层损失值，实现了待迁移模型的迁移学习，降低了待迁移模型识别的错误率，提高了待迁移模型的识别准确率，同时提升了待迁移模型的鲁棒性。 | ||
| 搜索关键词： | 一种 迁移 学习 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司;澳门大学智慧城市物联网国家重点实验室，未经北京百度网讯科技有限公司;澳门大学智慧城市物联网国家重点实验室许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110492357.6/，转载请声明来源钻瓜专利网。
