[发明专利]一种基于生成式对抗网络的图像风格迁移方法

说明书

一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：(1)生成随机输入；(2)构建生成网络；(3)构建判别网络；(4)输入风格图像和内容图像；(5)风格和内容的表征学习；(6)对抗训练；(7)输出合成图像。本发明的有益效果主要表现在：生成网络和判别网络的对抗训练结合了生成算法和判别算法的优点，二者的交替优化既提高了模型对高层特征的提取能力又使生成样本愈加逼真。无需手工设计特征，该方法成本较低、效率较高且生成样本质量佳，易于推广。

技术领域

本发明涉及一种图像风格迁移方法，具体涉及一种基于生成式对抗网络的 图像风格迁移方法，属于机器学习领域。

背景技术

图像处理是一种具有巨大的社会和经济效益的实用技术，被广泛应用于各 行各业以及人们日常生活中。图像处理中最常见的一个需求是改变图像风格， 其目标是在根据源图像合成风格的同时保留目标图像的语义内容。使用较多的 方法包括：通过目标图像中图像亮度等各种特征的映射来约束风格的合成，迁 移高频纹理信息并保留目标图像的粗尺度信息，或在纹理迁移中利用图像边缘 信息等，这些方法的共同缺点是仅利用了目标图像的低级特征，然而，理想的 图像风格迁移算法应该能够从目标图像中提取语义内容并通过一个纹理迁移过 程对目标图像中的语义内容进行渲染，图像风格迁移的关键在于获得并不依赖 于具体模型的图像语义内容以及风格特征。

发明内容

本发明针对上述现有技术的局限性，提出将生成式对抗网络(GenerativeAdversarial Networks，GANs)应用于风格和内容图像的特征学习，通过风格判 别网络和内容判别网络分别对风格图像和内容图像进行自编码学习，得到不依 赖于具体模型且可分离的风格特征和内容特征，采用深度卷积神经网络的结构 有利于对高层语义进行良好表征。生成网络通过一系列反卷积操作将随机输入 矢量映射为生成图像，通过与判别器进行对抗训练逐步提高生成图像的逼真性。

本发明解决其技术问题所采用的技术方案是：

一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：

步骤1，生成随机输入：通过对常见概率分布进行采样，得到随机输入矢量 z∈R^d；

步骤2，构建生成网络：构建生成网络G(.):R^d→R^WxHxC，其中，W，H和 C分别表示生成图像G(z)的宽、高和通道数量；

步骤3，构建判别网络：分别构建风格判别网络D_sty和内容判别网络D_cont， 其中，风格判别网络D_sty的输入为风格图像x_sty或者生成器输出的图像G(z)，内 容判别网络D_cont的输入为内容图像x_cont或者G(z)；风格判别网络D_sty和内容判 别网络D_cont的输出均为布尔值，即，当判别网络认为输入图像来自真实图像x_sty或x_cont时，输出1，反之输出0；

步骤4，输入风格图像和内容图像：向风格判别网络D_sty输入任意尺寸的风 格图像x_sty，进行裁剪和去均值等图像预处理；向内容判别网络D_cont输入任意尺 寸的内容图像x_cont并进行去均值处理；

步骤5，风格和内容的表征学习：利用自编码器的思想分别最小化基于风格 和基于内容的重构误差，从而学习风格和内容的有效表征；

5.1依式(1)度量层内特征图之间的相关性，从而获得输入图像的风格表征：

其中，h^l_ik和分别表示第l层第i和j个特征图中位置k处神经元的激活值；