[发明专利]一种基于级联生成对抗网络的图像动漫化方法

权利要求书

1.一种基于级联生成对抗网络的图像动漫化方法，其特征在于，步骤如下：

步骤1：分别对真实的目标图片和参考图片进行预处理，获得关于目标图片和参考图片的低分辨率图片集；

对于给定的目标图片I_{real_d}和提供动漫风格的参考图片I_{real_s}，对两张图片分别按照相同的下采样参数α不断进行下采样处理，直至图片的尺寸大小为原图片的1/10时，分别得到一个关于目标图片和参考图片的低分辨率图片集；

步骤2：构建参考图片生成对抗网络；

将参考图片的低分辨率图片集按照原始分辨率图片到最低分辨率的顺序排列，为每一张图片设计一层子生成对抗网络；

步骤3：从最低分辨率层子生成对抗网络开始训练参考图片生成对抗网络，输入随机噪声，通过生成器处理生成重构图片；把重构图片和低分辨率的参考图片依次输入至判别器中；对于参考图片，判别器的期望输出值尽可能接近1，否则期望接近0；

步骤4：多次迭代训练参考图片生成对抗网络的最低分辨率层子生成对抗网络；在优化函数约束下，不断提升生成器生成的重构图片的真实程度，使其逼近参考图片；

步骤5：将最低分辨率层的生成的重构图像上采样，加入随机噪声后输入至更高一层分辨率的子生成对抗网络中，按照训练最低分辨率层子生成对抗网络的方法迭代训练，生成分辨率更高的重构图片；一直训练至最高层子生成对抗网络，生成和参考图片原始分辨率相同的逼真的重构图片；

步骤6：将经过下采样的目标图片输入到训练好的参考图片生成对抗网络模型当中，学习参考图片的风格特征；同时在每层子生成对抗网络中，设计额外的判别器，获得目标图片生成对抗网络，进一步维护目标图片的内容特征；

步骤7：重复迭代训练目标图片生成对抗网络模型的每一层子生成对抗网络，直至训练结束，生成器生成含参考图片动漫风格的目标图片。

2.根据权利要求1所述的一种基于级联生成对抗网络的图像动漫化方法，其特征在于，步骤2具体方法如下：

将参考图片的低分辨率图片集按照原始分辨率图片到最低分辨率的顺序排列，为每一张图片设计一层子生成对抗网络；

所述的生成对抗网络包括生成器和判别器，其中生成器由多个卷积核-归一化-非线性变化组成的卷积块构成，其中每个卷积块的卷积核含5*5和3*3两种尺寸，分别进行大、小特征块的提取，通过将所提取的特征块组合，充分利用输入特征，提高特征提取效果；将特征块输入到下一个卷积块中；每层的生成对抗网络结构都相同，只是网络的参数规模有差异；其中生成器通过网络模型和优化函数能够学习到参考图片的特征，判别器D由五层相同卷积块组成，每层包含有卷积-归一化-非线性激活函数三个部分；

生成器由多个卷积核-归一化-非线性变化组成的卷积块构成，其中每个卷积块的卷积核含5*5和3*3两种尺寸，分别进行大、小特征块的提取，通过将所提取的特征块组合，充分利用输入特征，提高特征提取效果；将特征块输入到下一个卷积块中；判别器D由五层卷积块组成，每层包含有卷积-归一化-非线性激活函数三个部分，用于特征提取；

判别器D卷积块的卷积核尺寸为3*3，激活函数除却第五层使用sigmoid函数外(输出位于0～1)，其余层使用f_leaky(x_acti)函数；对于生成器G，第一层和第五层的卷积块与判别器结构保持一致，在中间三层的卷积块中，对于输入特征矩阵x_fea，同时使用3*3与5*5尺寸卷积核进行图片小特征块、大特征块提取，然后按照通道维度拼接卷积结果，如公式(2)-(3)所示；其中，x_w*d*c1表示其图片维度为w*d*c1，conv_i*i表示卷积核为i*i的卷积块，O(x_fea)表示输出特征；

cat(x_w*d*c1，x_w*d*c2)＝x_{w，d，c1+c2} (2)

O(x_fea)＝conv_1*1(x_fea+cat(conv_3*3(x_fea)，conv_5*5(x_fea))) (3)。