[发明专利]一种模型训练方法、装置、电子设备及存储介质在审
申请号: | 202210441633.0 | 申请日: | 2022-04-25 |
公开(公告)号: | CN114881129A | 公开(公告)日: | 2022-08-09 |
发明(设计)人: | 李莹莹;蒋旻悦;杨喜鹏;孙昊 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 孙翠贤;高莺然 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 方法 装置 电子设备 存储 介质 | ||
本公开提供了一种模型训练方法,涉及人工智能技术领域,尤其涉及深度学习、图像处理、计算机视觉等技术领域,具体涉及一种模型训练方法、装置、电子设备及存储介质。具体实现方案为:获取用于模型训练的各个样本;将所获取的样本分别输入待训练的半监督模型,得到输出结果;利用所述输出结果与各个样本所具有的标签的差异,以及所述伪标签对应的损失权重,计算模型损失;基于所述模型损失调整所述半监督模型的模型参数,从而获得目标半监督模型。通过本方案,可以提升半监督模型的精度;并且,通过更为准确的模型损失,可以使得模型的收敛速度得到加快,降低针对计算资源的占用时长,从而节省模型训练时所利用的计算资源。
技术领域
本公开涉及人工智能技术领域,尤其涉及深度学习、图像处理、计算机视觉等技术领域,具体涉及一种模型训练方法、装置、电子设备及存储介质。
背景技术
半监督模型是利用半监督学习方式训练的模型,半监督学习方式即利用部分标注的样本和部分未标注的样本进行深度学习的方式。其中,半监督模型所能够实现的任务可以包括:对象检测任务,例如图像检测任务或文本检测任务,当然并不限于此。
为了保证半监督模型能较快的收敛,从而避免长时间占用计算资源,在半监督模型训练过程中可以针对未标注的样本来生成伪标签,从而利用未标注的样本以及所生成的伪标签进行模型训练。
发明内容
本公开提供了一种模型训练方法、装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种模型训练方法,包括:
获取用于模型训练的各个样本;其中,各个样本中的未标注的第一样本具有伪标签,且所述伪标签具有置信度;
将所获取的样本分别输入待训练的半监督模型,得到输出结果;
利用所述输出结果与各个样本所具有的标签的差异,以及所述伪标签对应的损失权重,计算模型损失;其中,所述损失权重为基于所述置信度所设置的,且与所述置信度呈正相关;
基于所述模型损失调整所述半监督模型的模型参数,从而获得目标半监督模型。
根据本公开的第二方面,提供了一种模型训练装置,包括:
获取模块,用于获取用于模型训练的各个样本;其中,各个样本中的未标注的第一样本具有伪标签,且所述伪标签具有置信度;
输入模块,用于将所获取的样本分别输入待训练的半监督模型,得到输出结果;
计算模块,用于利用所述输出结果与各个样本所具有的标签的差异,以及所述伪标签对应的损失权重,计算模型损失;其中,所述损失权重为基于所述置信度所设置的,且与所述置信度呈正相关;
判断模块,用于基于所述模型损失调整所述半监督模型的模型参数,从而获得目标半监督模型。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行任一模型训练方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行任一模型训练方法。
根据本公开的另一方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据任一模型训练方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210441633.0/2.html,转载请声明来源钻瓜专利网。