[发明专利]一种基于生成式对抗网络的深度差分隐私保护方法

说明书

本发明提供一种基于生成式对抗网络反馈的深度差分隐私保护方法，用于解决深度学习模型应用中攻击者利用自编码等方法还原出训练集数据的问题，应用深度差分隐私保护方法实现训练数据集中用户隐私保护目的。本发明包括：依据输入训练数据集的潜在数据集规模，查询敏感度、攻击者最大攻击概率出隐私预算的上界；在深度网络参数优化计算中融合差分隐私思想添加噪声数据，基于差分隐私与高斯分布可组合特点，计算深度网络每一层的隐私预算，在随机梯度下降计算中添加高斯噪声使之总体隐私预算最小；利用生成式对抗网络生成攻击者可能得到的最优结果，通过对比攻击结果和原始数据间差别反馈调节深度差分隐私模型的参数，实现训练数据集可用性与隐私保护度的平衡。

技术领域

本发明涉及深度学习和隐私保护领域，具体涉及一种基于生成式对抗网络的深度差分隐私保护方法。

背景技术

近年来深度学习在目标检测和计算机视觉、自然语言处理、语音识别和语义分析等领域成效卓然，受到了越来越多研究者的关注。深度学习通过神经网络的分层处理，将低层特征组合形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，其模型性能与训练数据集的规模和质量密切相关，而训练数据集中通常包含较多的敏感信息，训练数据集在很多领域有广泛应用，包括安防领域的人脸识别、色情图片检测以及金融企业数据分析等，该领域可以将训练好的模型公布供大家使用，但是数据集中涉及敏感信息而不希望被推断出来。目前攻击者通过一定的攻击手段可以还原出训练数据集，从而使得用户隐私信息泄露。如公安机关发布犯罪嫌疑人识别模型，其训练数据集包含全国人口图像信息，当攻击者使用某一攻击手段还原出训练数据集中的图像时使得个人敏感信息得到泄露，因此如何在不泄露个人敏感信息的前提下提升数据可用性，是当前深度学习应用面临的主要问题，将极大影响深度学习未来的发展与应用。

目前关于敏感信息保护问题研究前提主要基于攻击者对用户背景知识的掌握程度，在此条件下攻击者可以进行身份链接攻击、属性链接攻击、成员链接攻击等隐私攻击，因此相关学者提出了K-匿名、L-多样性以及相关的方法。该类方法通过泛化或抑制用户敏感属性并修改数据集中的原始信息的策略，从而达到保护用户隐私的目的，而深度学习模型主要通过提取并抽象训练数据集中的特征，并不改变数据集的原始信息，因此与传统方法融合时存在较大难度。差分隐私技术是2006年微软研究院提出的一种基于数据失真的隐私保护方法，该方法建立在坚实的数学基础之上，对隐私保护进行了严格的定义并提供了量化评估方法，使得不同参数处理下的数据集所提供的隐私保护水平具有可比较性。其基本思想是对原始数据、对原始数据的转换或者是对统计结果添加噪音来达到隐私保护效果。该保护方法可以确保在某一数据集中插入或者删除一条记录的操作不会影响任何计算的输出结果。另外，该保护模型不关心攻击者所具有的背景知识，即使攻击者已经掌握除某一条记录之外的所有记录的信息。所有有利于保护训练数据集，与敏感信息保护的根本宗旨高度契合。

针对上述问题，本发明在无需考虑攻击者所拥有的任何可能的背景知识的情况下，首先依据训练数据集的潜在数据集规模，查询敏感度、攻击者最大攻击概率计算隐私预算的上界；然后在深度网络参数优化计算中融合差分隐私思想添加噪声数据，基于差分隐私与高斯分布可组合特点，计算深度网络每一层的隐私预算，在随机梯度下降计算中添加高斯噪音使之总体隐私预算最小；最后利用生成式对抗网络生成攻击者可能得到的最优结果，通过对比攻击结果和原始数据间差别反馈调节深度差分隐私模型参数，实现训练数据集可用性与隐私保护度的平衡。但根据现有的了解，还没有任何机构或组织将深度差分隐私模型与生成式对抗网络进行结合。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于生成式对抗网络的深度差分隐私保护方法，以采用差分隐私技术来解决深度模型训练和应用过程中泄露用户敏感信息的问题。