[发明专利]图像跨域迁移方法、计算机设备、可读存储介质和程序产品

说明书

本申请涉及一种图像跨域迁移方法、计算机设备、可读存储介质和程序产品，方法实施网络模型，模型训练过程包括：获得源域和目标域图像，提取源域图像的第一内容特征和第一风格向量，提取目标域图像的第二内容特征和第二风格向量；组合获得符合源域图像风格的第一风格迁移图像；组合获得符合目标域图像风格的第二风格迁移图像；提取第二风格迁移图像的内容特征、与第一风格向量组合获得第一源域重构图像；提取第一风格迁移图像的风格向量、与第一内容特征组合获得第二源域重构图像；当满足训练预期时，完成图像跨域迁移网络模型的训练，输出第一风格迁移图像和/或第二风格迁移图像。本申请一次训练可实现源域至目标域的转换和目标域至源域的转换。

技术领域

本申请涉及计算机视觉和深度学习领域，特别是涉及一种图像跨域迁移方法、计算机设备、可读存储介质和程序产品。

背景技术

图像跨域迁移主要是在两个图像域之间对图像进行风格迁移，实现不同图像域之间进行图像的编辑和生成。主要包括两种方法，一种是针对无形变的内容迁移进行的算法，另外一种就是关注形变任务中的多样化图像跨域转换算法，与无形变所要实现的效果不同的是，形变任务需在转换前后发生一定程度的几何变化(如猫脸图像转换为狗脸图像，转换后的图像应该保持输入图像中猫脸的姿态和位置同时具有狗脸的纹理风格)。相对于非形变任务而言，形变任务中对于内容的约束函数难以定义，主要是由于无监督算法基于无成对数据集实现，即对于一张源域图像并不存在与之具有相同姿态和位置的目标域图像。

CycleGAN对此提出了一个假设：将一个输入图像经由源域到目标域的转换后再由目标域转回源域得到的输出应该和输入图像是一致的，利用这个假设CycleGAN实现了循环一致性损失，该损失被广泛地应用于形变任务的图像跨域转换算法中，如AGGAN、U-GAT-IT等，但此类算法对于输入的源域图像只能生成单一的转换结果，难以满足应用需求。为了获得多样化的生成结果，DRIT、MUNIT利用解耦的思想对图像的内容和风格分别进行学习，在转换时利用目标域中不同图像与输入的源域图像进行组合即可获得多样化的转换结果，但图像的内容和风格尚无法准确定义，因此为二者的解耦带来一定的困难，故目前该类算法依然存在两类问题：1)转换后的图像与对应的源域图像存在较大的内容差异(主要表现为姿态差异)，2)转换后的图像与样例图之间的纹理相似程度较低。此外，它们在生成图像中还存在程度不一的“伪影”痕迹，进一步降低了图像质量。

DRIT和MUNIT均在生成图像的内容和风格之间进行重新组合，但是生成图像相对于真实图像存在一定程度的质量下降，而由其获得的内容和风格也相应地存在失真。

发明内容

基于此，有必要针对上述技术问题，提供一种图像跨域迁移方法。

本申请图像跨域迁移方法，在两个图像域之间对图像进行风格迁移，实施于图像跨域迁移网络模型，所述图像跨域迁移网络模型的训练过程包括：

获得源域图像和目标域图像，提取源域图像的第一内容特征和第一风格向量，提取目标域图像的第二内容特征和第二风格向量；

组合所述第二内容特征和所述第一风格向量，获得符合源域图像风格的第一风格迁移图像；

组合所述第一内容特征和所述第二风格向量，获得符合目标域图像风格的第二风格迁移图像；

提取所述第二风格迁移图像的内容特征、与所述第一风格向量组合获得第一源域重构图像；

提取所述第一风格迁移图像的风格向量、与所述第一内容特征组合获得第二源域重构图像；

当满足训练预期时，完成所述图像跨域迁移网络模型的训练，所述训练预期包括所述源域图像、所述第一源域重构图像、所述第二源域重构图像三者满足损失约束条件；

利用训练后图像跨域迁移网络模型，输出第一风格迁移图像和/或第二风格迁移图像。

可选的，所述图像跨域迁移网络模型的训练过程还包括：