[发明专利]单样本自适应域生成器迁移方法

说明书

单样本自适应域生成器迁移方法，涉及就三级视觉中的图像生成和迁移学习领域。解决了使用现有的算法迁移后的目标生成器无法准确获取引导图风格及迁移后的图片多样性低的问题。本发明方法通过全局水平域迁移损失函数使迁移后的目标域生成器合成的图片拥有引导图的全局特征；设计了局部水平域迁移损失函数来解决现有技术无法准确获取引导图局部代表性特征的问题；利用逆映射器把合成图片映射到隐空间，并提出自适应属性保持损失函数来自适应的挑选和保持域共享的属性，从而使迁移后的图片保持了之前图片的部分属性，提高了合成图片的多样性，并通过给定一张目标域引导图即可实现对自适应域生成器的迁移。主要用于实现对自适应域生成器的迁移。

技术领域

本发明涉及就三级视觉中的图像生成和迁移学习领域。

背景技术

单样本生成模型域迁移的目的在于：利用给定的单张引导图，把原本生成真实图片的生成器转化成可生成与引导图有相似风格图片的生成器。训练一个可用的生成器往往需要大量的数据，但现实生活中收集足够相似风格的数据是十分困难的。因此，对于数据极度匮乏的情况，通常的做法是利用给定的目标域数据，把在数据充足的源域训练的生成器迁移到目标域中。

近年来，随着深度学习技术的进一步发展，图像生成及其迁移学习也取得了突破性的进展。学者们利用生成器合成高质量的图片，并使用基于大规模图文对预训练的模型提取图片的特征，将引导图的特征与生成图片的特征对齐，从而使生成的图片与引导图风格更加接近。然而，使用现有的算法迁移后的目标生成器合成的图片有两个问题。一方面，合成的图片与引导图在局部的特征和风格上差异较大；另一方面，迁移后的图片多样性很低，且与迁移前的图片属性不一致。

发明内容

本发明是为了解决使用现有的算法迁移后的目标生成器无法准确获取引导图风格及迁移后的图片多样性低的问题。本发明提供了一种单样本自适应域生成器迁移方法。

单样本自适应域生成器迁移方法，该方法包括：

S1、利用多张源域图片及多维高斯分布中随机采样得到的多个512维的向量对预训练的生成器进行训练，获得源域生成器G_A；再利用源域生成器G_A的权重初始化目标域生成器，得到初始化后的目标域生成器G_B，同时，选取一张风格不同于源域图片作为初始化后的目标域生成器G_B的目标域引导图；

S2、从多维高斯分布中随机采样M个512维的向量，输入至源域生成器G_A合成M张源域合成图片，将M张源域合成图片和目标域引导图输入至第一CLIP图片编码器中进行特征提取，获得源域中心特征向量ν_src、目标域引导图全局特征向量ν_tar和目标域引导图局部特征向量序列F_tar；

S3、从多维高斯分布中随机采样一个512维的向量，并同时输入到源域生成器G_A和初始化后的目标域生成器G_B中，使得源域生成器G_A合成一张迁移前图片、初始化后的目标域生成器G_B合成一张迁移后图片；

S4、把合成后的迁移前图片和迁移后图片输入至第二CLIP图片编码器中，提取出迁移前图片的全局特征向量ν_A、迁移后图片的全局特征向量ν_B和迁移后图片的局部特征向量序列F_B后，并结合源域中心特征向量ν_src、目标域引导图全局特征向量ν_tar和目标域引导图局部特征向量序列F_tar，确定全局水平域迁移损失函数L_global的损失值和局部水平域迁移损失函数L_local的损失值；