[发明专利]一种基于级联生成对抗网络的图像动漫化方法

说明书

本发明公开了一种基于级联生成对抗网络的图像动漫化方法。首先分别对目标图片和参考图片进行预处理，获得低分辨率图片集；然后构建参考图片生成对抗网络，多次迭代训练参考图片生成对抗网络；再将经过下采样的目标图片输入到训练好的参考图片生成对抗网络模型当中，学习参考图片的风格特征；同时在每层子生成对抗网络中，设计额外的判别器，获得目标图片生成对抗网络，重复迭代训练目标图片生成对抗网络模型的每一层子生成对抗网络，直至训练结束，生成器生成含参考图片动漫风格的目标图片。本发明相较于传统方法，不仅成本低效率高，对于给定的目标图片，能够更好完成图片动漫风格的转换。

技术领域

本发明涉及到图像处理领域，具体来说提出了一种基于级联生成对抗网络的图像动漫化方法。

背景技术

图像风格迁移作为图像处理领域中的重要组成部分，受到广泛的关注研究。图像风格迁移，即对于每一张给定的输入图片，该图片都会具有特定的艺术风格，通过图像迁移方法能够在保持图片的主体内容不变的前提下，转换图片的艺术风格，使得呈现不同的视觉效果。

聚焦于图像风格迁移这一问题，发展出了许多图像风格迁移的方法。传统的做法是针对具有某类具体风格的图像集，通过数学方法分析建立该类图片风格的模型，当输入需要改变图像风格的目标图片，不断对图片进行修改使得其适应于图片风格模型。不过该方法在耗费大量时间、资源成本的条件下，只能完成某一类特定风格的图片迁移。随着深度学习领域的飞速发展，当下，基于深度学习的图片风格迁移受到了广泛的关注研究,。基于深度学习的方法主要是通过设计相关的神经网络模型完成图片处理，通常在网络模型中使用卷积神经网络模块实现对图片的特征提取，并且伴随有数据归一化以及非线性变换等操作对特征数据进一步处理。当网络模型中输入目标图片以及提供其他图片风格的参考图片时，模型通过耦合多层的神经网络模块，能够对输入图片和参考图片有效的提取其内容以及风格特征，并且根据相关约束条件以及处理结果和理想结果的误差设计相关的优化函对处理结果进行优化，将参考图片的风格特征迁移到目标图片当中。通过多次迭代优化，网络模型的性能不断提升，最终实现目标图片风格迁移的效果。但是常用的深度学习方法通常需要包含大量图片的数据集进行训练耗时较久，有时也会受到预训练模型的限制，并且训练模型较为繁琐复杂，算法效率有待提升。

发明内容

本发明针对现有方法存在的问题，提出了一种基于级联生成对抗网络的图像动漫化方法。生成对抗网络相较于其他深度学习模型，能够拟合输入图片的数据特征具有独特的优势。该网络模型输入包含目标图片和参考的动漫化图片，模型主要包含了生成器G(Generator)和判别器D(Discriminator)两个子网络。其中生成器G用于生成高真实度的重构图片，其输入为随机噪声，生成器网络对输入噪声进行处理映射，拟合参考的动漫化图片的数据特征，通过多次迭代训练最终生成与参考图片相似度很高的重构图片，使得判别器判定其为真实图片。判别器目标则是通过训练优化网络参数，能够准确判别输入图片为真实图片还是生成器生成的重构图片。在生成器G和判别器D的“对抗性”训练中，两个模块的性能都得到不断优化。完成训练后生成器能够很好拟合参考图片的特征信息，在输入目标图片和参考图片的内容相似(比如都是人物图片、风景图片等)时，可以将参考图片的风格特征迁移到输入的目标图片中。为了实现以上目标，本发明的主要方案和实施步骤如下：

步骤1：分别对真实的目标图片和参考图片进行预处理，获得关于目标图片和参考图片的低分辨率图片集。

对于给定的目标图片I_{real_d}和提供动漫风格的参考图片I_{real_s}，对两张图片分别按照相同的下采样参数α不断进行下采样处理，直至图片的尺寸大小为原图片的1/10时，分别得到一个关于目标图片和参考图片的低分辨率图片集。

步骤2：构建参考图片生成对抗网络；

将参考图片的低分辨率图片集按照原始分辨率图片到最低分辨率的顺序排列，为每一张图片设计一层子生成对抗网络。