[发明专利]一种基于生成式对抗网络的图像域转换网络和转换方法

摘要

本发明公开了一种基于生成式对抗网络的图像域转换网络和转换方法，包括U型生成网络、真假鉴别网络和配对鉴别网络，图像域转换过程主要包括以下步骤：1）、训练U型生成网络，建立U型生成网络的网络模型；2）将待转换的图像经过归一化处理后输入经步骤1）建立的网络模型，完成待转换图像的图像域转换；本发明能够实现图像中局部区域的图像域转换任务，且图像局部域转换质量高，网络判断能力强，图像转换的稳定性强，大大提高了生成的图像的真实性。

主权项

1.一种基于生成式对抗网络的图像域转换网络，其特征在于：包括U型生成网络、真假鉴别网络和配对鉴别网络，U型生成网络包括编码网络和解码网络，编码网络的输入端接入输入图像Input，编码网络的输出端连接解码网络的输入端，解码网络的输出端输出网络生成图像Output；设与输入图像Input一一配对的真实的目标域图像为目标域图像target；网络生成图像Output作为真假鉴别网络的训练负样本输入真假鉴别网络的负样本输入端，目标域图像target作为真假鉴别网络的训练正样本输入真假鉴别网络的正样本输入端，真假鉴别网络输出的值作为真假损失值反馈至解码网络的真假损失输入端；网络生成图像Output和对应输入图像Input作为训练负样本输入配对鉴别网络的负样本输入端，目标域图像target和对应输入图像Input作为训练正样本输入配对鉴别网络的正样本输入端，配对鉴别网络输出的值作为配对损失值反馈至解码网络的配对损失输入端；将网络生成图像Output与目标域图像target之间结构相似性值作为补偿损失值反馈至解码网络的补偿损失输入端。

2.根据权利要求1所述的基于生成式对抗网络的图像域转换网络，其特征在于：所述编码网络包括八层卷积网络，每层卷积网络的卷积核大小为3*3，步长为2*2，每层卷积网络均包括卷积层、Batch Normalization层和Leak ReLU激活层，Leak ReLU激活层的α参数为0.2；所述解码网络包括八层反卷积网络，每层反卷积网络的反卷积核大小为3*3，步长为2*2，每层反卷积网络包括反卷积层、BatchNormalization层和激活层，第一至第七层反卷积网络的激活层采用ReLU激活层，第八层反卷积网络的激活层采用tanh激活层。

3.根据权利要求2所述的基于生成式对抗网络的图像域转换网络，其特征在于：所述真假鉴别网络包括多层依次传递的真假鉴别卷积网络，每层真假鉴别卷积网络均包括卷积层、Batch Normalization层和激活层，最后一层真假鉴别卷积网络的激活层采用Sigmoid激活函数，其他层真假鉴别卷积网络的激活层采用ReLU函数。

4.根据权利要求3所述的基于生成式对抗网络的图像域转换网络，其特征在于：所述配对鉴别网络包括依次传递的Concat层和多层配对鉴别卷积网络，每层配对鉴别卷积网络均包括卷积层、Batch Normalization层和激活层，最后一层配对鉴别卷积网络的激活层采用Sigmoid激活函数，其它层配对鉴别卷积网络的激活层采用ReLU函数。

5.一种权利要求4所述的基于生成式对抗网络的图像域转换网络的图像域转换方法，其特征在于：包括以下步骤：

1)、训练U型生成网络，建立U型生成网络的网络模型；具体包括以下步骤：

A、收集待转换域的训练图像集，训练图像集中包括一一配对的原始域图像和目标域图像，对训练图像集中的原始域图像进行归一化，归一化后的图像即为网络训练时的输入图像Input，训练图像集中目标域图像为与输入图像Input对应的目标域图像target；

B、将步骤A所得的输入图像Input经U型生成网络转换成为训练网络的网络生成图像Output；

C、利用步骤A和步骤B所得输入图像Input、目标域图像target和网络生成图像Output进行多对抗鉴别网络的训练：多对抗鉴别网络的训练包括真假鉴别网络的训练和配对鉴别网络的训练，其中，真假鉴别网络的训练包括以下步骤：

C11：采用随机初始化方法对真假鉴别网络的网络权重进行初始化；

C12：将网络生成图像Output作为负样本，与输入图像Input对应的目标域图像target作为正样本，在真假鉴别网络中进行训练，使用交叉互信息熵损失函数以及adam优化算法更新真假鉴别网络的网络权重；

配对鉴别网络的训练包括以下步骤：

C21：采用随机初始化方法对配对鉴别网络的网络权重进行初始化：

C22：将网络生成图像Output和对应的输入图像Input作为负样本，将输入图像Input和对应的目标域图像target作为正样本，在配对鉴别网络中进行训练，使用交叉互信息熵损失函数以及adam优化算法更新配对鉴别网络的网络权重；

D、重复步骤C，经过两次多对抗鉴别网络训练后，固定真假鉴别网络和配对鉴别网络的网络权重；

E、利用经过步骤D训练后所得的多对抗鉴别网络，对U型生成网络进行训练；具体包括以下步骤：

E1：采用哈维尔随机初始化方法对U型生成网络的网络权重进行初始化；

E2：将网络生成图像Output输入真假鉴别网络，真假鉴别网络输出真假损失值，并将输出的真假损失值反馈给U型生成网络中的解码网络，用于更新其网络权重：真假鉴别网络输出30*30*1图像，用于返回网络生成图像Output接近真实图像的损失值，其中，真假鉴别网络输出的每个图像像素点值的范围为0到1，像素点值越接近1表示输入图像Input在该像素点感受野区域越接近真实的图像，像素点值越接近0表示输入图像Input在该像素点感受野区域越不接近真实的图像；

E3：将输入图像Input和对应的网络生成图像Output输入配对鉴别网络，配对鉴别网络输出配对损失值，并将输出的配对损失值反馈给U型生成网络中的解码网络，用于更新其网络权重：配对鉴别网络输出30*30*1图像，用于返回输入图像Input和网络生成图像Output是否是输入图像Input与目标域图像target配对的损失值；其中，配对鉴别网络输出的每个图像像素点值的范围为0到1，越接近1表示输入图像Input和网络生成图像Output越匹配，越接近0表示越不匹配；

E4：计算出网络生成图像Output与目标域图像target之间的结构相似数值，并将计算出的结构相似性数值作为损失反馈给U型生成网络中的解码网络，用于更新其网络权重；结构相似性数值包括SSIM损失函数计算结果以及L1正则化计算结果，其中，SSIM损失函数来源于SSIM算法，SSIM算法的输出值SSIM(x，y)表示两幅图像之间的相似性，即输入图像x和目标域图像y之间的结构相似性，SSIM(x，y)的范围为‑1到1，接近1表示两幅图像的相似度越高，当输入图像x和目标域图像y一模一样时，SSIM(x，y)的值等于1；

SSIM算法输出值的计算公式如下：

公式(1)中，x为输入图像Input，y为与输入图像Input对应的目标域图像target，μ_x是x的平均值，μ_y是y的平均值，是x的方差，

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安工业大学，未经西安工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201711273921.5/，转载请声明来源钻瓜专利网。