[发明专利]单样本自适应域生成器迁移方法有效

专利信息
申请号: 202210811744.6 申请日: 2022-07-11
公开(公告)号: CN115272687B 公开(公告)日: 2023-05-05
发明(设计)人: 左旺孟;张亚博;姚明帅;魏于翔 申请(专利权)人: 哈尔滨工业大学
主分类号: G06V10/42 分类号: G06V10/42;G06V10/44;G06N20/00
代理公司: 哈尔滨华夏松花江知识产权代理有限公司 23213 代理人: 杨晓辉
地址: 150001 黑龙*** 国省代码: 黑龙江;23
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 样本 自适应 生成器 迁移 方法
【权利要求书】:

1.单样本自适应域生成器迁移方法,其特征在于,该方法包括:

S1、利用多张源域图片及多维高斯分布中随机采样得到的多个512维的向量对预训练的生成器进行训练,获得源域生成器GA;再利用源域生成器GA的权重初始化目标域生成器,得到初始化后的目标域生成器GB,同时,选取一张风格不同于源域图片作为初始化后的目标域生成器GB的目标域引导图;

S2、从多维高斯分布中随机采样M个512维的向量,输入至源域生成器GA合成M张源域合成图片,将M张源域合成图片和目标域引导图输入至第一CLIP图片编码器中进行特征提取,获得源域中心特征向量νsrc、目标域引导图全局特征向量νtar和目标域引导图局部特征向量序列Ftar

S3、从多维高斯分布中随机采样一个512维的向量,并同时输入到源域生成器GA和初始化后的目标域生成器GB中,使得源域生成器GA合成一张迁移前图片、初始化后的目标域生成器GB合成一张迁移后图片;

S4、把合成后的迁移前图片和迁移后图片输入至第二CLIP图片编码器中,提取出迁移前图片的全局特征向量νA、迁移后图片的全局特征向量νB和迁移后图片的局部特征向量序列FB后,并结合源域中心特征向量νsrc、目标域引导图全局特征向量νtar和目标域引导图局部特征向量序列Ftar,确定全局水平域迁移损失函数Lglobal的损失值和局部水平域迁移损失函数Llocal的损失值;

同时,把合成后的迁移前图片和迁移后图片输入至逆映射器中,提取迁移前图片的属性向量ωA和迁移后图片的属性向量ωB;并根据迁移前图片的属性向量ωA、迁移后图片的属性向量ωB确定自适应属性保持损失函数Lscc的损失值;

全局水平域迁移损失函数Lglobal的表达式为:

其中,

Δνsamp=νBA    公式2;

Δνdom=νtarsrc    公式3;

Δνsamp为移后图片的全局特征向量νB与迁移前图片的全局特征向量νA的差值,Δνdom为目标域引导图全局特征向量νtar与源域中心特征向量νsrc的差值;

局部水平域迁移损失函数Llocal的表达式为:

其中,为迁移后图片的局部特征向量序列FB中的第i个向量,为目标域引导图局部特征向量序列Ftar中第j个向量,Ci,j为与间的余弦距离矩阵,n为迁移后图片的局部特征向量序列FB中向量的个数,m为目标域引导图局部特征向量序列Ftar中向量的个数,i和j均为整数,且i=1,2……n,j=1,2……m,n和m均为整数;

S5、将全局水平域迁移损失函数Lglobal的损失值、局部水平域迁移损失函数Llocal的损失值和自适应属性保持损失函数Lscc的损失值求和,获得总损失值;

自适应属性保持损失函数Lscc的表达式为:

Lscc=||mask(Δω,α)·(ωBA)||1     公式8;

其中,α为被选取属性所占的比例,mask(Δω,α)为条件向量,Δω为平均属性差值向量,||·||1为1的范数;

S6、判断当前总损失值是否小于预设阈值,结果为是,将其当前总损失值作为初始化后的目标域生成器GB的最优总损失值,从而获得迁移后的目标域生成器,实现对自适应域生成器的迁移;结果为否,根据当前总损失值对初始化后的目标域生成器GB的参数进行优化更新,实现对初始化后的目标域生成器GB的训练,然后重新执行步骤S3。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学,未经哈尔滨工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210811744.6/1.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top