[发明专利]训练目标图像检索模型的方法和装置在审
申请号: | 202210202436.3 | 申请日: | 2022-03-03 |
公开(公告)号: | CN114565807A | 公开(公告)日: | 2022-05-31 |
发明(设计)人: | 张斌杰;葛艺潇;苏树鹏;徐叙远;王烨鑫;单瀛 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/764;G06K9/62;G06N20/00;G06F16/583 |
代理公司: | 中国专利代理(香港)有限公司 72001 | 代理人: | 曹芳;陈岚 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 训练 目标 图像 检索 模型 方法 装置 | ||
本申请公开了训练目标图像检索模型的方法及相应的装置、计算设备、存储介质、和计算机程序产品。该方法用于使经训练的目标图像检索模型相对于原始图像检索模型具备后向兼容性。该方法包括:获取样本图像数据和标签;将样本图像数据输入到原始模型中,以得到对应的第一特征向量;对第一特征向量进行类别表征操作,以确定类别表征结果;将样本图像数据输入到目标模型,以得到对应的第二特征向量;将第二特征向量输入到目标模型的目标分类器,以得到目标预测分类结果;基于第二特征向量、第一特征向量的类别表征结果、标签和目标预测分类结果,确定目标模型的综合损失函数;基于综合损失函数更新目标模型的参数,使得目标模型达到收敛,以完成训练。
技术领域
本申请涉及图像检索的技术领域,尤其涉及一种训练目标图像检索模型的方法和装置、以及相应的计算设备、存储介质、和计算机程序产品。
背景技术
在图像检索(包括但不限于基于相似度的图像检测、图像内容识别等)领域中,通常涉及待查询图像和图像库内候选图像的特征提取和比较。也即,待查询图像的特征和候选图像的特征之间的比较应当能够反映出待查询图像和候选图像的内容相似度。对特征的这种要求可以简称为特征的可比性。
图像检索系统的升级包括特征提取模型的更新。更新后的特征提取模型(在本文中有时简称为新模型,对应的,更新前的特征提取模型有时简称为旧模型)所提取的特征将更准确地反映图像的内容。一般认为,用同一个特征提取模型提取的多个图像的特征之间具备可比性。因此,在常规技术中,为了保持这种可比性,在特征提取模型更新后,可以利用更新后的特征提取模型对图像库内的所有候选图像重新提取特征,并使新提取的特征覆盖掉旧的特征(这种获得可比性的方式简称为特征升级覆盖)。这样,待查询图像的特征和候选图像的特征将均由更新后的特征提取模型提取,一定程度上有利于特征的可比性。但是,考虑到实际应用场景中,候选图像可能达到亿级规模,这种重新提取特征的过程将极其耗时且费用高昂。
为了避免特征升级覆盖带来的额外成本,另一种获得可比性的方式是以“后向兼容表征学习”方式训练更新的模型。通过这种训练方式,更新后的特征提取模型提取的待查询图像的特征与更新前的特征提取模型提取的候选图像的特征具有一定的可比性,从而初步实现后向兼容的效果。然而,在常规技术中,“后向兼容表征学习”方式仅适用于有限的场景。例如,这种训练方式严重依赖旧模型的训练集(即,训练样本的集合),其要求新模型的训练集包含旧模型的训练集。从集合的概念来讲,这要求旧模型的训练集是新模型的训练集的真子集。总之,目前,“后向兼容表征学习”受到的约束较大,可应用的场景非常有限。
发明内容
有鉴于此,本申请提供了训练目标图像检索模型的方法和装置、以及相应的计算设备、存储介质、和计算机程序产品,期望克服上面提到的部分或全部缺陷以及其它可能的缺陷。
根据本申请的一方面,提供了一种训练目标图像检索模型的方法,用于使经训练的目标图像检索模型相对于原始图像检索模型具备后向兼容性,其特征在于,该方法包括:获取用于训练该目标图像检索模型的样本图像数据和标签;将该样本图像数据输入到该原始图像检索模型中,以得到该样本图像数据对应的第一特征向量;对该第一特征向量进行类别表征操作,以确定该第一特征向量的类别表征结果;将该样本图像数据输入到该目标图像检索模型,以得到该样本图像数据对应的第二特征向量;将该第二特征向量输入到该目标图像检索模型的目标分类器,以得到目标预测分类结果;基于每个样本图像数据对应的该第二特征向量、该第一特征向量的类别表征结果、该标签和该目标预测分类结果,确定该目标图像检索模型的综合损失函数;基于该综合损失函数更新该目标图像检索模型的参数,使得该目标图像检索模型达到收敛,以完成该目标图像检索模型的训练。
在一些实施例中,该综合损失函数由后向兼容损失函数和分类损失函数构建,并且,基于每个样本图像数据对应的该第二特征向量、该第一特征向量的类别表征结果、该标签和该目标预测分类结果,确定该目标图像检索模型的综合损失函数包括:基于该第二特征向量和该第一特征向量的类别表征结果,确定该目标图像检索模型的后向兼容损失函数;以及,基于该标签和该目标预测分类结果,确定该目标图像检索模型的分类损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210202436.3/2.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序