[发明专利]基于生成式对抗网络的跨域多样性图像生成方法及系统

说明书

本发明公开的一种基于生成式对抗网络的跨域多样性图像生成方法及系统，将参考数据集作为源域，将获取的目标数据集作为目标域；将源域和目标域进行编码，得到特征向量；将得到特征向量通过分类器进行分类，得到类别标签；将特征向量、类别标签、源域和目标域对应的域码向量并结合风格码进行组合，得到目标图片；本发明提出的基于生成式对抗网络跨域多样性图像生成方法和系统，可以根据需求，生成出人为可控的多种风格的图像，通过离散和连续变量的不同数量结构搭配，可满足多种因素影响的风格，可大批量生产出具有多样性的图像以供深度神经网络训练等需要，可同时实现多种域和多种类别的生成，以供不同的任务需要。

技术领域

本发明涉及图像处理等技术领域，涉及一种图像生成系统，尤其涉及一种基于生成式对抗网络的跨域多样性图像生成方法。

背景技术

现在正处于高速发展的信息时代，人工智能技术在人类的生活中随处可见，例如图像领域的人脸识别技术、电子车牌识别技术等等。新技术的提出与新的算法思想是密不可分的，比如图像领域的生成式对抗网络GAN(Generative Adversarial Network)思想。

自从2014年由Ian Goodfellow提出GAN的思想后，在此思想基础上，已经对它的结构进行了各种方式的改进和组合，以达到不同的目的。比如有的改变可以基于此生成各式各样风格的假的图片，但还是在原有图片的风格领域内所做的改动，并没有真正实现跨越图像本身的风格领域而生成出新的图像；有的基于GAN的思想可以利用已有的图像生成出跨越图像本身风格领域的新的图像，但是生成的新的图像风格比较单一，多样性往往有很大的局限性，并不能对生成的新的图像的风格样式进行有效地控制。

而目前的实际应用场景复杂多变，例如训练大规模的深度神经网络，深度神经网络训练过程中往往需要大规模的数据集，尤其是需要完成特有任务所需要的数据集，虽然目前已有多种大规模的数据集，但是这些数据集往往只能满足其专有的任务需要，而当面对新的任务或者特有的需要的时候，现实中经常会面对只有少量的数据样本，这时往往没有足够的大型数据集满足我们去训练我们特有领域的神经网络。人工收集数据集费时费力，成本较大。有时为了特殊需要，例如游戏场景中需要一些专门指定的游戏画面场景，这时需要对已有的神经网络和训练样本进行一些专门的设计，对于这种情况，训练样本数据在现实生活中难以收集甚至不存在，因此需要“造”出没有的图像数据样本去作为训练集。

发明内容

针对现有技术中训练神经网络时所需的图片数据集较大或难以获取的问题，本发明提供一种基于生成式对抗网络的跨域多样性图像生成方法，可实现同时满足生成图像的跨域和多样性特点，解决神经网络的数据集获取的问题。

本发明是通过以下技术方案来实现：

基于生成式对抗网络的跨域多样性图像生成方法，包括以下步骤：

1)将参考数据集作为源域，将获取的目标数据集作为目标域；

2)将源域和目标域进行编码，得到特征向量；

3)对步骤2)得到特征向量通过分类器进行分类，得到类别标签；

4)将特征向量、类别标签、源域和目标域对应的域码向量并结合风格码进行组合，得到目标图片。

优选的，步骤1)中，将参考数据集和目标数据集按照电表类型分别分为若干个源域和若干个目标域。

优选的，步骤2)中将源域和目标域图像裁剪到统一尺寸，然后进行分类。

优选的，步骤2中将裁剪到统一尺寸后的源域和目标域输入至神经网络，通过编码器的卷积操作后得到特征向量。

优选的，步骤3)中采用分类器对特征向量进行分类；

分类器由全连接层结构组成，后连接一个softmax层输出。