[发明专利]用于处理和生成图像和标签图的生成对抗网络

说明书

用于处理和生成图像和标签图的生成对抗网络。生成对抗网络，包括：生成器，被配置用于生成图像和对应的标签图；鉴别器，被配置用于确定所提供的图像和所提供的标签图的分类，其中该分类表征所提供的图像和所提供的标签图是否已经由生成器生成，并且确定该分类包括以下步骤：确定所提供的图像的第一特征图；根据所提供的标签图掩蔽第一特征图，从而确定掩蔽的特征图；全局汇集掩蔽特征图，从而确定被所提供的标签图掩蔽的所提供的图像的特征表示；基于所述特征表示确定所述图像的分类。

技术领域

本发明涉及一种用于处理和生成图像的生成对抗网络、一种用于训练生成对抗网络的方法、一种用于训练机器学习系统的方法、一种借助于生成对抗网络对图像进行分类的方法、一种训练系统、一种计算机程序和一种机器可读存储介质。

现有技术

Zhang等人的“DatasetGAN: Efficient Labeled Data Factory with MinimalHuman Effort”（2021年4月20日，https://arxiv.org/abs/2104.06490v2）公开了一种用于生成图像和标签图的生成对抗网络。

背景技术

诸如神经网络之类的机器学习系统被用在几乎所有的技术领域中。然而，这样的机器学习系统的性能关键取决于训练它们所用的数据。机器学习系统令人满意的泛化能力通常仅可以在利用大量且多样的数据集进行训练时被实现。

尤其是对于诸如语义分割或对象检测之类的计算机视觉任务，收集这样的数据集是困难的任务，因为标注所需的数据消耗了专家人类标注员的大量时间。因此，将合期望的是设计一种方式，其允许自动生成用于语义分割或对象检测的标签，优选地同时还允许生成与所生成的标签相对应的图像。

在本发明中提出的生成对抗网络的优点在于，它允许准确地生成图像及其对应的语义分割标签或对象检测标签。作为额外的特征，生成对抗网络允许准确地分类所提供的图像和所提供的对应标签是否来自用于训练生成对抗网络的分布。

发明内容

在第一方面，本发明涉及一种生成对抗网络，包括：

·生成器，被配置用于生成图像和对应的标签图；

·鉴别器，被配置用于确定表征所提供的图像和所提供的标签图的分类的输出，其中该分类表征所提供的图像和所提供的标签图是否已经由生成器生成，并且确定该分类包括以下步骤：

·确定所提供的图像的第一特征图；

·根据所提供的标签图掩蔽第一特征图，从而确定掩蔽的特征图；

·全局汇集掩蔽特征图，从而确定被所提供的标签图掩蔽的所提供图像的特征表示；

·基于所述特征表示确定所述图像的分类。

如本发明中提出的生成对抗网络（GAN）可以理解为如现有技术中已知的GAN的专用形式。它是来自机器学习领域的模型，包括两个组件，即生成器和鉴别器。与已知的GAN相比，生成器被配置为不仅生成图像，而且还标注对应于相应图像的图。

标签图可以被理解为表征标签图所对应的图像的标签。术语“对应”可以理解为标签图和标签图所表征的图像的一对一关系。换句话说，标签图可以被理解为表征关于图像的元信息。标签图尤其可以被理解为标签图所对应的图像像素的表征类成员。例如，标签图可以以与图像相同宽度和高度的矩阵的形式给出，其中矩阵的元素表征了图像像素的类。在这种情况下，元素由沿着矩阵的宽度和高度的位置来表征，并且表征图像中相同位置处的像素的类。替代地，标签图可以由张量给出，所述张量优选地是具有特定高度、宽度和深度的三维张量。高度和宽度可以优选地与图像的相同，而张量可以优选地沿着其深度维度包含与对于图像像素存在的可能类一样多的元素。在这种情况下，张量可以尤其借助于独热编码（one-hot encoding）对像素的类进行编码，其中独热编码是张量在沿着张量的宽度和高度的特定位置的切片，即独热编码是向量。