[发明专利]一种模型迁移方法、装置及电子设备在审
| 申请号: | 202210665169.3 | 申请日: | 2022-06-14 |
| 公开(公告)号: | CN115131633A | 公开(公告)日: | 2022-09-30 |
| 发明(设计)人: | 周峰暐;谢传龙;董其实;胡天阳;杨永鑫;李震国 | 申请(专利权)人: | 华为技术有限公司 |
| 主分类号: | G06V10/776 | 分类号: | G06V10/776;G06V10/774;G06V10/771 |
| 代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 郭建凯;陈霁 |
| 地址: | 518129 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 模型 迁移 方法 装置 电子设备 | ||
1.一种模型迁移方法,其特征在于,所述方法包括:
获取目标任务的样本数据,所述样本数据中包括多个图像样本;
基于所述样本数据,分别对N个预训练模型进行评估,以得到N个评估值,所述评估值用于表征所述预训练模型与所述目标任务间的适配度,其中,一个所述预训练模型对应一个所述评估值,N≥2;
基于所述N个评估值,从所述N个预训练模型中确定出K个预训练模型,所述K个预训练模型为在对所述N个评估值由大到小排序后的前K个评估值对应的模型,1≤K≤N;
基于所述K个预训练模型,对所述样本数据进行处理,得到目标模型,所述目标模型中包括所述K个预训练模型,所述目标模型用于处理所述目标任务。
2.根据权利要求1所述的方法,其特征在于,所述基于目标任务的样本数据,分别对N个预训练模型进行评估,以得到N个评估值,具体包括:
将所述样本数据切分为M份数据,M≥2;
从所述M份数据中选取一份数据作为验证数据,并将所述M份数据中剩余的数据作为训练数据;
基于所述训练数据和所述验证数据,分别确定各个所述预训练模型的第一有效性值,以及,分别确定各个所述预训练模型的第一稳定性值,其中,所述第一有效性值用于表征通过预训练模型从所述训练数据提取到的特征,对所述验证数据的标签进行预测的准确度,所述第一稳定性值用于表征通过预训练模型提取到的所述训练数据的特征和提取到的所述验证数据的特征间的相似度;
基于各个所述预训练模型的第一有效性值和第一稳定性值,确定出所述N个评估值。
3.根据权利要求2所述的方法,其特征在于,所述基于所述训练数据和所述验证数据,分别确定各个所述预训练模型的第一有效性值,具体包括:
针对所述N个预训练模型中的任意一个第一预训练模型,利用所述第一预训练模型对所述训练数据进行特征提取,以得到第一特征集合,所述第一特征集合中包括所述训练数据中各个样本对应的特征;
根据所述第一特征集合、与所述第一特征集合关联的第一标签集合、第二特征集合和与所述第二特征集合关联的第二标签集合,确定所述第一预训练模型的第一有效性值,所述第一标签集合中包括所述训练数据中各个样本对应的标签,所述第二特征集合中包括通过所述第一预训练模型提取到的所述验证数据中各个样本对应的特征,所述第二标签集合中包括所述验证数据中各个样本对应的标签。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一特征集合、与所述第一特征集合关联的第一标签集合、第二特征集合和与所述第二特征集合关联的第二标签集合,确定所述第一预训练模型的第一有效性值,具体包括:
基于所述第一特征集合、所述第一标签集合和预先设定的分类器,构建第一预测模型;
基于所述第一预测模型,至少对所述第二特征集合和所述第二标签集合进行处理,得到所述第一预训练模型的第一有效性值。
5.根据权利要求2-4中任一所述的方法,其特征在于,所述基于所述训练数据和所述验证数据,分别确定各个所述预训练模型的第一稳定性值,具体包括:
针对所述N个预训练模型中的任意一个第一预训练模型,利用所述第一预训练模型对所述训练数据进行特征提取,以得到第一特征集合,所述第一特征集合中包括所述训练数据中各个样本对应的特征;
根据所述第一特征集合和第二特征集合,确定所述第一预训练模型的第一稳定性值,所述第二特征集合中包括通过所述第一预训练模型提取到的所述验证数据中的各个样本对应的特征。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一特征集合和第二特征集合,确定所述第一预训练模型的第一稳定性值,具体包括:
基于所述第一特征集合,构建目标分布,所述目标分布包括:高斯分布,伯努利分布,泊松分布,几何分布,或者,beta分布中的一项或多项;
基于所述目标分布,确定所述第二特征集合对应的似然函数值;
将所述第二特征集合对应的似然函数值作为所述第一预训练模型的第一稳定性值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210665169.3/1.html,转载请声明来源钻瓜专利网。





