[发明专利]一种基于循环条件生成对抗网络的人脸衰老图像合成方法

权利要求书

1.一种基于循环条件生成对抗网络的人脸衰老图像合成方法，该方法包括：

步骤1：对数据集进行预处理；

获取UTKFace数据集，对获取的数据集根据分为3个年龄段组：20-40年龄段，40-60年龄段，60-80年龄段；再利用one-hot向量对这三个年龄段的图像标签进行编码，最后对图片像素值进行归一化；

步骤2：构建卷积神经网络；

构建的卷积神经网络包括三个子网络，一个为生成器G，一个为生成器F，一个为判别器D；生成器G输入源域图片x和目标域标签c，输出生成目标域人脸图片G(x，c)；生成器F输入生成的目标域人脸图片G(x，c)和源域标签c′，输出生成的源域人脸图片F(G(x，c)，c′)；生成器F的生成过程是源域图片x的重建过程，设计生成器F的重构损失使F(G(x，c)，c′)和源域图片x相似，这样一张源域图片经过G变为目标域图片，目标域图片再经过F转换回源域图片；G和F为一个互逆的过程，一张图片依次经过G和F，图片保持不变；保证图片在源域和目标域转换的过程中，重要特征不会丢失；

生成器输入输出均为图片，而判别器输入为图片，输出为标量和分类向量；生成器网络的前两层为3个下采样卷积块，之后接着6个残差网络块，最后再跟着3个上采样卷积块；判别器网络依次采用6个下采样卷积块，以及两个标准卷积块；

生成器G和F的详细参数如下：首先是3层卷积层，卷积核模板大小分别为7×7、4×4、4×4卷积层步长分别为1、2、2，每一卷积层后使用Instance norm归一化层来归一化，激活函数为ReLU函数；其次是6个残差块串联，然后是两层转置卷积，步长都为2，每一转置卷积层后使用Instance norm归一化层来归一化，激活函数是ReLU函数；最后一层是卷积层，卷积核模板大小为7×7，卷积层步长为2，激活函数为tanh函数；

判别器D的详细参数如下：首先是6个卷积层，每个卷积层卷积核模板大小都为4×4，步长都为2，激活函数都为Leakey ReLU；最后输出分为两路，一路为辅助分类器路，另一路为判别器路；辅助分类器路卷积层卷积核模板大小2×2，步长为1，输出维度为3，对应生成器输入的标签维度；判别器路卷积核模板大小3×3，步长为1，输出维度为1；

步骤3：训练判别器D；利用上述步骤得到的人脸对齐图像和one-hot年龄标签来训练判别器D；判别器D的输入是源域图像x和源域标签c′，输出人脸图像的真假判别D_src(x)和源域真实图片的标签c′的后验估计D_cls(c′|x)；采用如下的损失函数：

公式中的c′是源域图片的标签，x是源域的图像；λ_cls是平滑加权系数，即对输入图片的标签与辅助分类器输出的概率密度估计之间的交叉熵损失的平滑加权系数；E_x，c′，E_x分别表示对(x，c′)，x求期望；

在下一步的训练中，判别器这一次输入生成器G生成的目标域人脸图片G(x，c)，c是生成器需要生成的图片的年龄段标签，即目标域标签；输出人脸图像的真假判别D_src(G(x，c))；E_x，c是对(x，c)求期望；

这个过程用如下损失函数表示：

判别器D的总损失函数如下式表示：

步骤4：训练生成器G；

生成器G的输入是源域图片x和目标域标签c，输出生成器生成目标域人脸图片G(x，c)；利用上一步训练的判别器D来训练生成器G；训练生成器G时，判别器D的参数固定；判别器D的输入是生成器生成的目标域人脸图片G(x，c)，输出的是生成器目标域标签c的后验估计D_cls(c|G(x，c))和输出人脸图像的真假判别D_src(G(x，c))；为保证输入图像和衰老图像身份一致性，加入循环一致性损失；生成器G的损失如下面公式所示：

公式中λ_cls是平滑加权系数，即对目标域标签与判别器判别生成图片所属类别的概率密度估计之间的交叉熵损失的平滑加权系数；λ_rec是平滑加权系数，即对循环一致性损失项的平滑加权系数；E_x，c，E_x，c，c′分别是对(x，c)，(x，c，c′)求期望；

步骤5：训练生成器F；

生成器F的输入是上面得到的目标域图片G(x，c)和源域标签c′，输出生成器生成的人脸图片F(G(x，c)，c′)；生成器F与G的训练过程相同，生成器F是利用源域标签，将目标域图片转为源域图片，即对应目标年龄段图片映射回源年龄段图片；损失为：

公式中λ_cls是平滑加权系数，即对源域标签与判别器判别生成图片所属类别的概率密度估计之间的交叉熵损失的平滑加权系数；λ_rec是平滑加权系数，即对循环一致性损失项的平滑加权系数；E_x，c′，E_x，c，c′分别是对(x，c′)，(x，c，c′)求期望；

步骤6：训练完成后只采用生成器G部分，给定图片X和目标域标签C，则可以得到多张不同年龄段的输出图片。