[发明专利]一种基于小波域图像生成框架的图像生成方法

说明书

本发明公开一种基于小波域图像生成框架的图像生成方法。本发明利用高斯核和小波变换在保留图像的频率信息方面的补充性，提出小波域图像生成框架WDIG，分别在像素空间和小波域空间构建损失函数。在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，通过低频和高频特征信息构建L₁范数空间域重构损失函数。在小波域空间，通过小波变换得到对应的通道子带系数，将图像分离为高频信息和低频信息，通过子带系数构建L₁范数频域重构损失函数。本发明在训练过程中能更好地计算生成图像丢失的细节信息，更准确约束模型训练，以精确优化模型，提高基于深度学习的图像生成任务生成图像的质量。

技术领域

本发明涉及深度学习及图像生成领域，具体涉及一种基于小波域图像生成框架的图像生成方法。

背景技术

图像生成是计算机视觉领域的一大关键任务，广义的图像生成包括图像的颜色生成、纹理生成以及内容生成等方面，目的是将人类的感知通过计算机以图像的形式进行表达，具有广泛的应用价值，可应用到艺术创作、工业设计、影视娱乐、数字化模拟、公共安全等领域。而通过图像处理软件手动创作设计实现图像生成耗时耗力，因此基于模型算法的图像生成由于其自动化、低成本的优势成为计算机视觉领域一大研究热点。

图像生成将原始图像或随机变量输入到生成模型生成图像，从纯粹的关系信息、稀疏或密集度量的深度信息到单个对象甚至多种场景。所以设计一种有效、兼容、稳定的框架，提升图像生成模型的性能，是一项非常有意义的研究。

基于深度学习的图像生成包括图像风格迁移、图像翻译、图像修复、图像编辑、GANInversion等，目前在这些任务中，依旧使用像素空间的传统损失函数，如逐像素损失、感知损失、对抗损失等来约束模型训练。然而，像素空间不能直接对图像中纹理、颜色等低频概貌信息及内容结构、身份等高频细节信息进行显示分离，因此像素空间的传统损失函数无法对损失的低频概貌及高频细节有针对地计算，无法约束模型训练过程中保持细节信息，导致生成图像质量存在缺陷。

现有基于深度学习的图像生成模型生成图像的质量存在如下缺陷：风格迁移存在风格化图像结构扭曲的问题，图像翻译存在翻译图像丢失源域身份信息的问题，GANInversion嵌入的隐变量不能准确代表输入图像。

因此提出一种适用于基于深度学习的图像生成任务的损失函数框架小波域图像生成框架，替代像素空间的传统损失函数，在图像生成模型训练过程中精确优化模型，最终提高图像生成模型生成图像的质量。

本发明利用高斯核和小波变换在保留图像的频率信息方面的补充性，提出小波域图像生成框架WDIG(wavelet domain image generation)，分别在像素空间和小波域空间构建损失函数，有针对地对图像生成任务中损失的低频概貌及高频细节进行计算。在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，针对低频和高频特征信息构建L₁范数空间域重构损失函数。在小波域空间，通过小波变换得到对应的通道子带系数，将图像显式分离为高频信息和低频信息，分别针对子带系数构建L₁范数频域重构损失函数。WDIG在训练过程中更好地计算生成图像丢失的细节信息，更准确约束模型训练，以精确优化模型，提高图像生成模型生成图像的质量。

发明内容

本发明的目的在于提出一种基于小波域图像生成框架的图像生成方法；

本发明具体包括如下步骤：

步骤一、获取图像生成模型所需的多个数据集并进行预处理；

步骤二、输入图像X至任意图像生成模型，得到图像生成模型重建图像X’和图像生成模型生成图像X_Y；

步骤三、小波域图像生成框架搭建并应用到多种图像生成模型上进行训练；

3-1.搭建小波域图像生成框架：