[发明专利]基于扩散循环生成式对抗网络的图像风格迁移方法

说明书

本发明涉及一种基于扩散循环生成式对抗网络的图像风格迁移方法，属于图像处理领域，包括以下步骤：S1：创建风格A图片数据集和风格B图片数据集，对图像数据进行预处理，构建训练集和测试集；S2：构建扩散循环生成式对抗网络模型；S3：设计扩散循环生成式对抗网络模型的损失函数；S4：将风格A与风格B的非成对训练集输入所述扩散循环生成式对抗网络模型中进行训练；S5：将风格A与风格B的测试集分别输入训练好的扩散循环生成式对抗网络模型中，获得风格转换后的图像，完成风格迁移任务。

技术领域

本发明属于图像处理领域，涉及一种基于扩散循环生成式对抗网络的图像风格迁移方法。

背景技术

图像风格迁移，也称图像风格转换，是指将输入图像的风格，转变成指定一幅或多幅图像风格的方法。算法须保证原图像结构，只将图像风格进行转换，使得最终输出的合成图像呈现出与输入图像内容和风格的完美结合。循环生成式对抗网络作为GAN类的经典图像风格迁移算法，使用两个镜像对称的GAN，使图片关键信息得以保留，无需配对数据即可进行训练。但是在实践中，循环生成式对抗网络使用的GAN模块会受到各种问题的困扰，从不收敛、训练不稳定到模式崩溃。

当神经网络试图学习大量重复出现的模式时，通常会发生过度拟合。具有零均值的高斯噪声基本上在所有频率中具有数据点，可以有效地扭曲高频特征。添加适量的噪音可以增强鉴别器的学习能力。

发明内容

有鉴于此，本发明的目的在于提供一种扩散循环生成式对抗网络的图像风格迁移方法，为了注入适当的实例噪声来促进GAN的训练，使用基于扩散的高斯混合分布来对生成器的生成图像注入实例噪声以增加鉴别器的输入样本。

为达到上述目的，本发明提供如下技术方案：

一种基于扩散循环生成式对抗网络的图像风格迁移方法，包括以下步骤：

S1：创建风格A图片数据集和风格B图片数据集，对图像数据进行预处理，构建训练集和测试集；

S2：构建扩散循环生成式对抗网络模型；

S3：设计扩散循环生成式对抗网络模型的损失函数；

S4：将风格A与风格B的非成对训练集输入所述扩散循环生成式对抗网络模型中进行训练；

S5：将风格A与风格B的测试集分别输入训练好的扩散循环生成式对抗网络模型中，获得风格转换后的图像，完成风格迁移任务。

进一步，步骤S2所述的构建扩散循环生成式对抗网络模型，具体包括以下步骤：

S21：选取循环生成式对抗网络中的生成器和鉴别器作为扩散循环生成对抗网络模型的生成器和鉴别器；

S22、构建扩散模块，其中主要工作模块包括前向扩散模块和扩散强度自适应控制模块。

S23：设计扩散循环生成式对抗网络模型的体系结构由两个生成器、两个鉴别器、两个扩散模块组成；

S24：模型结构分为两个学习过程：从风格A图像到风格B图像的学习过程和从风格B图像到风格A图像的学习过程。

进一步，步骤S22中所述的构建扩散模块，具体包括以下步骤：

S221：设计前向扩散模块，向真实图像与生成图像中注入高斯实例噪声以平滑图像数据分布，注入噪声的强度由扩散步长t控制，得到的噪声数据混合分布由y表示；

S222：将得到的真实图像与生成图像的噪声混合分布按照扩散强度t输入鉴别器中判断生成图像真假；