[发明专利]一种基于生成对抗网络的图片合成方法

摘要

本发明涉及一种基于生成对抗网络的图片合成方法，对不同域的图片进行特征提取和融合，生成一副新的图片，包括步骤如下：首先，收集和整理图片样本，并对其分组，各组图片具有相同特征；然后，构建并训练对抗网络，初始化网络参数；接着，选择合适的损失函数和优化方法；之后，将样本传入生成对抗网络开始训练；最后，根据训练结果，适当调整网络参数，以期获得更好的结果。本发明对图像内容进行合成并且产生新的图像，同时简化人工操作，提升工作效率。

主权项

1.一种基于生成对抗网络的图片合成方法，其特征在于，包括如下步骤：(1)收集训练需要的图片，并制作两个图片的样本集，其中一个图片样本集为风景图片，另一个样本集则为人物图片，每个样本集中的所有图片应当包含某种相同的特征，它们被称为一个域(domain)；(2)构建并训练生成对抗网络，所述对抗网络由特征提取器、解码器、生成网络以及判别网络组成；其中特征提取器扫描并收集图片的细节信息，识别图片中的图案，并将各样本集中共有的图案作为此样本集图片的基本特征，特征提取器可以从一个域中随机抽取一张图片，并将此张图片中包含的特征提取出来并且用高维向量表示，这个高维向量包含所在域的共有特征和每张图片中独有的特征；解码器用于对特征提取器的预训练，它会根据特征提取器从某个域中提取的高维向量生成一副新的图片，并保证生成图片和原图越相似越好，尽可能多的保留这个域图片的特征,从而确保特征提取器从原图片中提取足够信息，之后当特征提取器训练完成后，删除解码器；判别网络根据生成网络所生成的图片，鉴别其中是否包含两个域，同时学习两个域中真实图片的特征，然后衡量真实图片和生成图片之间的差距，引导对抗网络产生具有两个域特征的图片；其中，特征提取器的卷积层和判别网络的卷积层之间会共享参数(parameters sharing)；在训练过程中，共享的参数会随着判别器参数的更新而更新，但是在提取器的参数更新的过程中，共享的参数将会保持不变；生成网络的作用是根据给定的信息生成一副全新的图像，这个图像要足够真实，使判别网络难以准确鉴别，它的输入是由特征提取器提取出的两个隐含变量h以及一个随机采样的高斯噪声z组成的一个N维向量c，两个隐含变量h用于保存从两个域的图片中提取的特征，它们长度相同，z用于给生成图片添加更多随机性，使生成图像更加多样化；(3)对生成对抗网络中各网络层(layer)的参数进行初始化；(4)对抗网络的总损失由判别网络给出的生成样本与真实样本之间的生成损失和隐含向量的重建损失构成，重建损失用于检测特征提取器是否可以在原图和生成图片之间找到共同的特征向量，而生成损失用于衡量生成的图片是否真实且含有某一域的特征，需要根据实际问题，选择损失函数，然后依据选择的损失函数计算重建损失、生成损失和判别损失，在反向传播过程中计算对抗网络的梯度；同时选择优化方法更新对抗网络的参数；所述参数包括各网络层的权重和偏置；(5)训练生成对抗网络，记录生成结果，保存网络的参数，所述参数包括各层的权重、偏置以及网络的整体结构；(6)评价生成对抗网络的生成结果，调整网络超参数，所述超参数包括：网络学习率、训练周期数、隐含向量维度及特征图数量；然后进行多次测试，最终得到所需的生成结果。