[发明专利]一种基于元学习的小样本学习方法、装置和电子设备在审
申请号: | 202210084037.1 | 申请日: | 2022-01-21 |
公开(公告)号: | CN114492624A | 公开(公告)日: | 2022-05-13 |
发明(设计)人: | 楼财义;周华吉;骆振兴;郑仕链 | 申请(专利权)人: | 中国电子科技集团公司第三十六研究所 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N20/00 |
代理公司: | 北京市隆安律师事务所 11323 | 代理人: | 权鲜枝 |
地址: | 314033 *** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 学习 样本 学习方法 装置 电子设备 | ||
1.一种基于元学习的小样本学习方法,其特征在于,包括:
构建元学习的训练任务集,所述训练任务集包括多个训练任务;
初始化元网络的模型参数和超参数;
循环更新元网络的模型参数和超参数,其中利用多个训练任务更新元网络的模型参数,利用更新后的模型参数和事先构建的优化网络优化元网络的超参数;
在满足预设条件时,停止优化元网络,将停止优化时的模型参数和超参数作为元初始参数,在新的任务中基于所述元初始参数对元网络的模型参数进行训练,利用训练好的元网络进行识别与发现。
2.根据权利要求1所述的方法,其特征在于,每个训练任务包括第一数据集,第一数据集包括第一支持集和第一查询集,通过多个训练任务更新元网络的模型参数,包括:
对训练任务集T中的任一训练任务Ti执行以下步骤:
利用元网络对训练任务Ti的第一支持集中的支持样本数据进行分类,得到分类结果;
利用元网络计算训练任务Ti的第一查询集中的查询样本数据与该训练任务的支持样本数据的各个分类结果之间的欧氏距离;
将训练任务Ti的所述欧式距离作为优化目标,通过SGD优化算法对所述元网络的模型参数进行更新,得到对应于训练任务Ti的更新后的模型参数。
3.根据权利要求2所述的方法,其特征在于,将训练任务Ti的所述欧式距离作为优化目标,通过SGD优化算法对所述元网络的模型参数进行更新,得到对应于训练任务Ti的更新后的模型参数,包括:
获取元网络在所述优化目标下的损失函数和梯度;
计算训练任务Ti的学习率、所述梯度和所述损失函数三者的乘积;
将元网络当下的模型参数与所述三者的乘积的差值作为更新后的模型参数。
4.根据权利要求3所述的方法,其特征在于,利用更新后的模型参数和事先构建的优化网络优化元网络的超参数,包括:
利用更新后的模型参数更新优化网络的损失函数;
将元网络的超参数作为优化网络的输入,通过优化网络对超参数进行优化。
5.根据权利要求4所述的方法,其特征在于,每个训练任务还包括第二数据集,第二数据集包括第二支持集和第二查询集,利用更新后的模型参数更新优化网络的损失函数,包括:
利用更新后的模型参数更新元网络的模型参数;
利用元网络对训练任务Ti的第二支持集中的支持样本数据进行分类,得到分类结果;
利用元网络计算训练任务Ti的第二查询集中的查询样本数据与该训练任务Ti的支持样本数据的各个分类结果之间的欧氏距离;
将训练任务Ti在第二数据集下的所述欧式距离作为优化目标,获取元网络在所述优化目标下的损失函数;
利用多个训练任务的损失函数的和值更新优化网络的损失函数。
6.根据权利要求2所述的方法,其特征在于,利用元网络对每个训练任务的第一支持集中的支持样本数据进行分类,得到分类结果,包括:
利用元网络对支持样本数据进行特征提取,得到特征数据;
根据支持样本数据的标签,将具有相同标签的特征数据分为一类,得到多个初始分类;
对每个初始分类中的特征数据进行平均处理,得到分类结果。
7.根据权利要求6所述的方法,其特征在于,利用元网络对支持样本数据进行特征提取,得到特征数据,包括:
利用元网络的特征提取器对支持样本数据进行特征提取,所述特征提取器包括多个残差模块,每个残差模块包括一个卷积层、两个残差块和一个最大池化层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电子科技集团公司第三十六研究所,未经中国电子科技集团公司第三十六研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210084037.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种挡片式LED驱动电源
- 下一篇:一种可自动调节温度的电暖器