[发明专利]基于跨域对偶生成式对抗网络的偏见消除方法与装置

说明书

本发明公开了一种基于跨域对偶生成式对抗网络的偏见消除方法和装置，包括以下步骤：(1)构建样本对；(2)基于跨域对偶生成式对抗网络构建训练系统，包括生成器GA、GB、判别器DA、DB；(3)根据生成图像与样本图像v之间的距离构建判别器DA、DB的损失函数；根据所有生成图像和样本图像之间的距离、根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建生成器GA、GB的损失函数；(4)利用损失函数对训练系统进行对抗训练，训练结束后，提取参数确定的生成器GA和GB作为两个图像迁移模型；(5)应用时，将图像对分别输入至两个图像迁移模型，经计算生成图像域迁移的两张生成图像。

技术领域

本发明属于图像生成领域，具体设计一种基于跨域对偶生成式对抗网络的偏见消除方法与装置。

背景技术

近年来，深度学习已经被广泛的应用于目标检测、图像检测、数据生成等领域。生成对抗网络(GAN)是目前深度学习中较为先进的技术之一，生成对抗网络通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生较好的输出，一般采用深度神经网络。

跨域图像-图像翻译的生成对抗网络(GAN)取得了很大的进展。根据任务复杂度的不同，训练生成对抗网络需要成千上万个图像对，而对于大量数据来说图像对是难以获得的。从自然语言翻译中得到对偶学习的启发，产生了一种新的对偶生成对抗网络机制(Dual-GAN)，是在原来的生成对抗网络的基础上进一步扩展为两个相互耦合的生成对抗网络，其中有两个生成器和两个判别器，使图像翻译人员可以从两个域的两组图像中进行训练与辨别。对偶生成对抗网络最关键的一点在于，给定一个原始任务模型，对偶任务的模型可以给其提供反馈；同样的，给定一个对偶任务的模型，其原始任务的模型也可以给该对偶任务的模型提供反馈，这两个互为对偶的任务可以相互提供反馈，相互学习，相互提高。

图像识别系统例如一些深度学习网络，虽然它们在实际应用方面取得了很大进展，但它们还是很敏感。当这类系统用于包含人物的图像时，它们可能会将性别、种族或年龄等保护属性与物体或动作标签过度关联，从而放大社会刻板印象。而且，经过训练的模型大大扩大了某些标签与保护属性的关联，超出了人们对有偏见的数据集的接受程度。即使数据集是平衡的，每个标签都与保护属性平等，学习的模型也会放大标签和保护属性之间的关联。这样放大社会刻板印象的现象将直接影响图像生成模型生成的图像，导致错误判断。

这种放大社会刻板印象产生主要来自于两部分的泄露，第一部分是数据集泄露，当数据集被泄露攻击时，攻击者试图从其任务特定标签中，对输入图像中的受保护属性进行反向工程，则会造成保护属性对模型的任务结果产生很大偏见，出现放大社会刻板印象。另一部分是模型泄露，模型直接泄露数据集中被保护属性，则会造成保护属性对模型的任务结果产生很大偏见，出现放大社会刻板印象。

发明内容

本发明的目的是提供一种基于跨域对偶生成式对抗网络(Dual-GAN)的偏见消除方法与装置，以克服因为存在偏见或偏见放大而导致的图像域转移生成图像的不准确性问题。

为实现上述发明目的，本发明提供以下技术方案：

一种基于跨域对偶生成式对抗网络的偏见消除方法，包括以下步骤：

(1)采集图像数据，并标记图像数据的任务标签和受保护属性，将任务标签、受保护属性与图像数据构成一个样本图像，组成样本集，根据任务标签不同将样本集分成U域样本集和V域样本集，U域样本集中样本图像u和V域样本集中的样本图像v组成一个样本对；