[发明专利]图像翻译模型训练方法、图像翻译方法及装置和电子设备

说明书

本公开关于一种图像翻译模型训练方法、图像翻译方法及装置、电子设备及存储介质，包括：获取人脸图像数据集和动漫头像数据集；将人脸图像数据集和动漫头像数据集组合为多个训练数据集，分别训练无监督图像翻译模型，得到多个图像翻译模型；将所述人脸图像数据集中的各人脸图像分别输入所述多个图像翻译模型得到第一动漫头像；从所述第一动漫头像中筛选出正样本动漫头像；采用所述人脸图像和其对应的正样本动漫头像组成人脸‑动漫头像对；采用所述人脸‑动漫头像对训练所述多个图像翻译模型；当满足迭代结束条件后，从所述多个图像翻译模型中，筛选出目标图像翻译模型。应用本公开可以得到稳定性强、成功率高且图像翻译质量高的图像翻译模型。

技术领域

本公开涉及互联网技术领域，尤其涉及一种图像翻译模型训练方法、装置、电子设备及存储介质，以及，一种图像翻译方法、装置、电子设备及存储介质。

背景技术

图像翻译(image-to-image translation)网络能够在不改变图像内容的前提下，将一种类型的图像直接转换为另一种类型的图像，在图像生成、场景分割、图像风格化等领域有着广泛应用。其中，人脸图像与动漫头像的转换因其高度的趣味性和可玩性，被用户所喜爱和认可，具有良好的发展前景。

目前是利用无监督学习来根据人脸图像生成对应的动漫头像(例如CycleGAN、UNIT、UGATIT等)，使用正向和反向两组生成对抗网络(GAN，Generative AdversarialNetworks)，并用循环一致性损失(cycle-consistency loss)这一约束将其连接起来，从而利用未配对的人脸图像数据集和动漫头像数据集即可训练出图像翻译模型，实现基于人脸图像的动漫头像的生成。

在上述方案中，整个训练网络由正向和反向两组GAN构成，每组GAN包含一个生成器(generator)和至少一个判别器(discriminator)。生成器的输入和输出均为图像，基本结构多为级联残差块架构或其变体，即输入图像经过二至三次下采样后，依次通过生成器的若干个Residual模块，逐步提取更深层次特征并完成转换，最后再通过与下采样相同次数的上采样得到最终输出图像。判别器的输入为图像，通过若干次的下采样后得到表征该图像全局或其各局部区域是否为真实图像的矩阵。真实的人脸图像和动漫头像分别通过一路GAN网络，并用循环一致性损失来约束，从而训练出图像翻译模型。

然而，上述方案的缺陷在于，基于无监督学习的方法训练出的模型稳定性较差，不同迭代次数的模型对于同一人脸图像的转换效果存在较大差异，而且由人脸图像生成的动漫头像质量差，多数输出的动漫头像存在明显的瑕疵甚至完全没有效果；另外，对于生成的动漫头像质量优劣的评判主观性较强，无法通过定量的指标来自动化过滤效果较差的输出图像，因此上述方案输出的动漫头像无法直接作为成对的人脸-动漫头像用于后续模型的训练。

发明内容

本公开提供一种图像翻译模型训练方法、装置、电子设备及存储介质，以及，一种图像翻译方法、装置、电子设备及存储介质，以至少解决相关技术中模型稳定性较差，模型输出的图像质量较差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像翻译模型训练方法，包括：

获取人脸图像数据集和动漫头像数据集；

将所述人脸图像数据集和所述动漫头像数据集组合为多个训练数据集，分别训练无监督图像翻译模型，得到多个图像翻译模型；

针对所述多个图像翻译模型，迭代执行如下步骤进行训练：

将所述人脸图像数据集中的各人脸图像分别输入所述多个图像翻译模型，得到针对各人脸图像的第一动漫头像；

从所述第一动漫头像中筛选出正样本动漫头像，其中，所述正样本动漫头像为基于预设评分系统标准得到最高评分的第一动漫头像；

采用所述正样本动漫头像和其对应的人脸图像组成人脸-动漫头像对；