[发明专利]基于改进PATE的WGAN-GP隐私保护系统和方法

说明书

本发明属于AI安全领域，涉及隐私学习、集成学习以及知识迁移的综合运用，为提出一种模型训练稳定、生成效果好且具有严格隐私保证的方法。为此，本发明采取的技术方案是，基于改进PATE的WGAN‑GP隐私保护方法，基于设计的共识度检查条件和从高斯分布采样噪声进行差分隐私保护对聚合机制进行优化，利用教师判别器共识度与隐私成本之间成反比以及和准确性之间成正比的关系在集成过程中设计有条件的差分隐私聚合器，通过优化教师分类器集群，在保护原始敏感训练数据的基础上生成供其他机器学习模型进行训练的合成数据。本发明主要应用于保护隐私数据安全场合。

技术领域

本发明属于AI安全领域，涉及隐私学习、集成学习以及知识迁移的综合运用，通过权衡隐私性和准确性设计一种综合性能提升的模型。实现对训练数据的隐私保护，生成不再包含真实隐私信息且足够逼真的合成数据以供机器学习模型的训练，防御模型窃取攻击，保证了机器学习模型的安全性。具体涉及基于改进PATE的WGAN-GP隐私保护方法。

背景技术

随着信息共享时代的到来，信息发布、数据挖掘技术层出不穷，大量隐私价值即包含潜在的、有价值的知识被挖掘。隐私泄露的风险不可避免地以极高的速度迅速增加。在深度学习模型训练过程中，往往采用真实数据进行训练。然而在现有的应用中已经被证明：许多隐私敏感的训练数据能够从模型中恢复。攻击者通过分析能够直接恢复部分模型参数，或是间接地通过反复查询不透明模型，收集数据进行攻击，对机器模型的机密性进行破坏。

在现有的隐私保护方法的研究中，最常规的防御方法是采用差分隐私添加噪声的方式来对数据和模型进行隐私保护，通过在训练过程中添加从一个随机分布中的采样进行扰动能达到有效的隐私保护效果。基于隐私学习的机器学习模型可以分为两类：一类是基于noisySGD(Noisy Stochastic Gradient Descent，噪声随机梯度下降法)，另一类是PATE(Private Aggregation of Teacher Ensemble，教师系综的私有聚合)。

生成式对抗网络GAN(Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。顾名思义，其最核心两个模块即：生成网络和判别网络。两种网络通过博弈的方式对抗训练，当达到平衡点时，生成网络便能生成足以混淆判别网络的、以假乱真的生成样本。在现阶段，有很多领域的任务都借助GAN来进行性能提升，如CV领域中几乎所有任务都使用GAN来提升性能。GAN能够为机器学习模型提供大量的训练样本，甚至在理想状态下，能代替真实样本训练模型以达到保护用户隐私信息的目的。因此，利用差分隐私的方法训练GAN有望能为以上面临问题提供解决之策。

基于噪声随机梯度下降法(noisySGD)的GAN模型具有差分隐私的经验上最小化复杂网络损失函数。通过在判别器训练过程中在梯度计算时添加仔细校准过的噪声来实现隐私保护。考虑到生成器不接触真实数据以及差分隐私的后处理性质，生成器同样也是具有差分隐私属性的。基于教师系综的私有聚合(PATE)的GAN模型，同样是在判别器上进行隐私学习，训练一组隐私判别器模型构成一个“教师系综”，同样基于差分隐私的后处理定理，通过对教师系综的输出结果集成并引入校准过的噪声输出带有差分隐私的预测结果训练出一个具备差分隐私性质的“学生”判别器模型，使得无论是模型的参数或是训练集都不带有任何隐私敏感信息。对于以上两种保护模型的提出，其主要目的一是为了保护训练数据中的敏感信息，同时也为了能够通过从训练数据中学习相关分布、生成样本，为更多的任务提供有效、脱敏的训练样本集。