[发明专利]一种基于生成对抗网络的无监督多模态图像转换方法

权利要求书

1.一种基于生成对抗网络的无监督多模态图像转换方法，其特征在于：所述方法包括以下步骤：

1)输入属于A域的图像x_a以及属于B域的图像x_b进入图像跨域转换神经网络中进行训练，图像跨域转换神经网络为包含了生成器与判别器的生成对抗网络；

2)编码器将图像拆分编码为图像内容编码c以及域风格编码s；

3)针对不同的域图像配置不同的特定域编码m；

4)将内容编码c、域风格编码s和特定域编码m融合并解码，生成指定目标域图像，若将A域图像x_a作为源域，则转换生成B目标域图像x_a-→b，若将B域图像x_b作为源域，则转换生成A目标域图像x_b-→a；

5)判别器对生成器生成的图像进行质量评判，区分输入判别器的图像是真实图像或网络生成的假图像；

6)将步骤1)～5)不断重复设定的次数，生成器与判别器不断相互博弈，共同提高性能，直到网络收敛。

2.如权利要求1所述的一种基于生成对抗网络的无监督多模态图像转换方法，其特征在于：使用分配的域特定编码，仅使用一组生成器即可完成其他目标域图像的生成。

3.如权利要求2所述的一种基于生成对抗网络的无监督多模态图像转换方法，其特征在于：使用的域特定编码命名为m_i，m_i＝x_i+v，i为一个指定的特定域编号，其中x_i为一个具有50*i个元素的向量，且50*i到50*(i+1)-1为元素1，其余位置为元素0；v是一个符合正太分布的高斯噪声，v＝N(0，0.2)。

4.如权利要求2或3所述的一种基于生成对抗网络的无监督多模态图像转换方法，其特征在于：所述生成器包含编码器与解码器的结构，编码器对图像进行编码操作，其中包含两个编码器结构：内容编码器，对图像的内容特征进行编码，生成内容编码；风格编码器，对图像的域风格特征进行编码，生成域风格编码；解码器在浅层空间对编码进行AdaIN仿射变换，对变换后的内容编码、域风格编码和特定域编码融合，合成对应的目标域风格图像。

5.如权利要求4所述的一种基于生成对抗网络的无监督多模态图像转换方法，其特征在于：在生成器以及判别器中都引入了注意力机制，设某一层神经网络提取到的特征图的通道数为n，对应的n张特征图用f₁、f₂…f_n表示，引入的注意力机制为：对每个通道的特征图计算其表示重要性的权重，用w₁、w₂…w_n表示，且所有的权重和为1，即将每个通道对应的权重与特征图进行加权求和形成热力图，得到卷积网络的特征可视化结果，即