[发明专利]一种模型训练方法、装置、设备以及存储介质在审
申请号: | 202210082301.8 | 申请日: | 2022-01-24 |
公开(公告)号: | CN114494776A | 公开(公告)日: | 2022-05-13 |
发明(设计)人: | 杨馥魁;韩钧宇 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06V10/764 | 分类号: | G06V10/764;G06V10/40;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 李礼 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 方法 装置 设备 以及 存储 介质 | ||
1.一种模型训练方法,包括:
将样本图像输入至特征提取网络,得到所述特征提取网络对应的样本特征图;其中,所述特征提取网络包括老师特征提取网络和学生特征提取网络;
根据不同特征提取网络对应的样本特征图中至少两个目标对象之间的类别关系,确定第一蒸馏损失;
根据所述第一蒸馏损失,对所述学生特征提取网络进行训练。
2.根据权利要求1所述的方法,其中,所述根据不同特征提取网络对应的样本特征图中至少两个目标对象之间的类别关系,确定第一蒸馏损失,包括:
根据不同特征提取网络对应的样本特征图中至少两个目标对象的特征值,以及所述至少两个目标对象之间的类别关系,确定不同特征提取网络对应的对象关系表示;
根据所述不同特征提取网络对应的对象关系表示,确定第一蒸馏损失。
3.根据权利要求2所述的方法,其中,所述根据不同特征提取网络对应的样本特征图中至少两个目标对象的特征值,以及所述至少两个目标对象之间的类别关系,确定不同特征提取网络对应的对象关系表示,包括:
根据不同特征提取网络对应的样本特征图中至少两个目标对象之间的类别关系,确定不同特征提取网络对应的样本特征图中每一目标对象的目标关系;
根据不同特征提取网络对应的样本特征图中每一目标对象的特征值,以及该目标对象的目标关系,确定不同特征提取网络对应的对象关系表示。
4.根据权利要求1所述的方法,还包括:
采用类别关系预测网络确定不同特征提取网络对应的样本特征图中不同目标对象属于同一类别的概率值,作为所述不同特征提取网络对应的样本特征图中至少两个目标对象之间的类别关系。
5.根据权利要求4所述的方法,还包括:
根据所述第一蒸馏损失,对所述类别关系预测网络进行训练。
6.根据权利要求1所述的方法,还包括:
根据不同特征提取网络对应的样本特征图中不同像素点之间的像素关系,确定第二蒸馏损失;
相应的,根据所述第一蒸馏损失,对所述学生特征提取网络进行训练,包括:
根据所述第一蒸馏损失和所述第二蒸馏损失,对所述学生特征提取网络进行训练。
7.根据权利要求6所述的方法,还包括:
采用图神经网络确定不同特征提取网络对应的样本特征图中不同像素点之间的特征相似度,作为所述不同特征提取网络对应的样本特征图中不同像素点之间的像素关系。
8.根据权利要求7所述的方法,还包括:
根据所述第二蒸馏损失,对所述图神经网络进行训练。
9.根据权利要求1-8中任一项所述的方法,其中,所述学生特征提取网络属于检测模型中的网络;
相应的,所述方法还包括:
将所述样本图像输入至训练后的学生特征提取网络,得到目标特征图;其中,所述训练后的学生特征提取网络采用权利要求1-8中任一所述的模型训练方法训练得到;
根据所述目标特征图对所述检测模型中的其他网络进行训练;其中,所述其他网络至少包括分类网络和回归网络。
10.一种模型训练装置,包括:
特征提取模块,用于将样本图像输入至特征提取网络,得到所述特征提取网络对应的样本特征图;其中,所述特征提取网络包括老师特征提取网络和学生特征提取网络;
第一损失确定模块,用于根据不同特征提取网络对应的样本特征图中至少两个目标对象之间的类别关系,确定第一蒸馏损失;
网络训练模块,用于根据所述第一蒸馏损失,对所述学生特征提取网络进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210082301.8/1.html,转载请声明来源钻瓜专利网。