[发明专利]一种面向小样本场景的深度图像检索方法在审
申请号: | 202210336881.9 | 申请日: | 2022-03-31 |
公开(公告)号: | CN114860973A | 公开(公告)日: | 2022-08-05 |
发明(设计)人: | 张利军;陈宇辉 | 申请(专利权)人: | 南京大学 |
主分类号: | G06F16/53 | 分类号: | G06F16/53;G06N3/04;G06N3/08 |
代理公司: | 南京乐羽知行专利代理事务所(普通合伙) 32326 | 代理人: | 李玉平 |
地址: | 210046 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 样本 场景 深度 图像 检索 方法 | ||
1.一种面向小样本场景的深度图像检索方法,其特征在于,包括如下步骤:
步骤1,获取图像数据集H作为数据库,从数据库中采样训练样本,并根据训练样本数据的标签计算训练样本间以及训练样本与数据库间的相似度矩阵;
步骤2,对所述训练样本随机图像增强生成样本副本,将其通过深度哈希网络映射到连续空间中,以获得中间特征并计算对比损失函数Lc;
步骤3,将学习到的所述中间表征映射为二进制码,结合所述训练样本间以及训练样本与数据库间的相似度矩阵计算二值损失函数;
步骤4,根据所述对比损失函数Lc与二值损失函数构造总损失函数L;
步骤5,基于所述总损失函数L对深度哈希网络进行更新,基于所述训练样本间以及训练样本与数据库间的相似度矩阵与所述总损失函数L,对数据库样本的哈希码进行更新,直至网络收敛;
步骤6,对于外来图像样本,使用上述步骤5训练好的深度哈希网络对图像进行检索。
2.根据权利要求1所述的一种面向小样本场景的深度图像检索方法,其特征在于,所述步骤2的具体步骤为:
步骤2.1,对深度哈希网络进行初始化,所述深度哈希网络由一个卷积神经网络和两层全连接网络组成;
步骤2.2,对采样的所述训练样本分别进行两次随机的图像增强,得到正负两组样本副本,以构成最终训练数据集H*;
步骤2.3,使用所述卷积神经网络提取特征并通过其中一层所述全连接网络映射到l维空间中,得到中间特征ri,其中中间特征ri表示为连续向量;
步骤2.4,基于所述中间特征ri计算对比损失函数Lc。
3.根据权利要求2所述的一种面向小样本场景的深度图像检索方法,其特征在于,所述步骤3的具体步骤为:
步骤3.1,使用所述全连接网络将中间特征ri映射为向量zi,再将向量zi转换为二进制码表示为ui=sign(zi),用tanh(·)近似sign(·)来保证可导;
步骤3.2,基于二进制码ui和训练样本间以及训练样本与数据库间的相似度矩阵计算二值损失函数,其中二值损失函数包括训练样本内损失函数Lb和训练样本与数据库间损失函数Lq。
4.根据权利要求3所述的一种面向小样本场景的深度图像检索方法,其特征在于,所述步骤4中基于所述对比损失函数Lc与二值损失函数构造总损失函数L,将所述总损失函数L构造为L=Lc+λ1Lb+λ2Lq,其中λ1,λ2为超参数。
5.根据权利要求4所述的一种面向小样本场景的深度图像检索方法,其特征在于,所述步骤5采用非对称的方式在训练过程中直接对数据库中的哈希码进行更新,其具体步骤为:
步骤5.1,固定深度哈希网络的参数,初始化数据库样本的二进制码V;
步骤5.2,将所述训练样本生成的两组样本副本的输出分别表示为U1和U2,令并将扩充成矩阵
步骤5.3,将目标函数进行简化改写为
其中,const表示为常数项;
步骤5.4,采用DCC算法按位对所述数据库样本的二进制码V进行优化,表示为:
其中,为的第k列,为除去第k列后剩下的矩阵部分,为V除去第k列后剩下的矩阵部分,Q*k为Q的第k列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210336881.9/1.html,转载请声明来源钻瓜专利网。