[发明专利]一种半监督多模态多类别的图像翻译方法

说明书

本发明公开了一种半监督多模态多类别的图像翻译方法，包括步骤：S1、输入两个来自不同域的图像以及少量标签；S2、将输入的图像和标签都送入编码器，编码器分为内容编码器和风格编码器，利用解耦表示学习从风格编码器和内容编码器中，将图像分别解耦出风格编码和内容编码；S3、把风格编码输入至对抗自编码器中，以完成图像多类别训练；把内容编码输入至内容对抗学习网络中，以完成图像多模态变换训练；S4、通过拼接风格编码和内容编码实现图像的重构和多模态的变换。本发明解决了由于图像翻译多样性的要求所带来的困境，通过对潜在内容编码和风格编码的联合解码，可以生成多模态和多类别的跨域图像。

技术领域

本发明涉及计算机视觉、计算机图形学与机器学习的技术领域，尤其是指一种半监督多模态多类别的图像翻译方法。

背景技术

随着深度学习技术和图像生成技术的不断发展，图像翻译领域涌现出大量优秀工作，半监督多模态多类别的图像翻译是计算机视觉领域重要且具有挑战性的研究问题，其中半监督多模态多类别的图像翻译在工业设计等领域具有明显的应用价值，可应用于图像着色、超分辨率生成、风格转换等各个方面。当前来看，现有的图像翻译是将问题转化为一对一的图像映射，需要明确给定两个不同的图像域，而在很多场景下，跨域的图像翻译是多模态的，因此，现有的跨域数据翻译无法满足这些需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，针对多模态多类别的图像翻译需求，提出了一种半监督多模态多类别的图像翻译方法，可有效解决由于图像翻译多样性带来的困境，并生成其多模态变换。在半监督数据的前提下，将输入的图像和标签都送入编码器，将图像分别解耦出风格编码和内容编码，通过拼接风格编码和内容编码实现图像的重构和多模态的变换。

为实现上述目的，本发明所提供的技术方案为：一种半监督多模态多类别的图像翻译方法，包括以下步骤：

S1、输入两个来自不同域的图像1、2以及少量标签；

S2、将输入的图像和标签都送入编码器，编码器分为内容编码器和风格编码器，利用解耦表示学习从风格编码器和内容编码器中，将图像分别解耦出风格编码和内容编码；

S3、把风格编码输入至对抗自编码器中，以完成图像多类别训练；把内容编码输入至内容对抗学习网络中，以完成图像多模态变换训练；

S4、通过拼接风格编码和内容编码实现图像的重构和多模态的变换。

在步骤S1中，两个来自不同域的图像指的是该两个图像在内容和风格上存在差异性；另外，图像分为有标记标签样本和未标记标签样本，通过对样本输入少量标签，能够使得准确度有所提升。

在步骤S2中，编码器将输入的两个图像分别进行编码，通过解耦表示学习解耦出两个图像的风格编码和内容编码，以达到图像变换的目的；风格编码器通过解耦表示学习中的5个卷积层和批量归一化(BN)产生，最终解耦出8维的风格编码；内容编码器通过解耦表示学习中的4个卷积层和批量归一化(BN)产生，最终解耦出128维的初始内容编码；由于图像的风格编码和内容编码在浅层上具有相同的特征，因此，在解耦表示学习中，风格编码和内容编码前两层的卷积和批量归一化(BN)是共享的，目标在于提取浅层特征。

在步骤S3中，将编码器通过解耦表示学习产生的两组风格编码送入到对抗自编码器(AAE)中，最终输出为0和1的二分类结果；其中，对抗自编码器(AAE)由(256,64,16,1)四个多层感知器(MLP)组成，对抗自编码器(AAE)设计的目的是使得风格编码满足给定的数据分布，因此，对抗损失能够通过如下公式求解：

式中，为图像的风格编码，为给定的图像数据分布，为图像对应的数据分布。