[发明专利]一种抵御成员推理攻击的差分隐私联邦学习方法

说明书

本发明公开了一种抵御成员推理攻击的差分隐私联邦学习方法，具体为：各客户端使用本地数据进行训练生成一个对抗生成网络模型并生成虚假数据；对每轮联邦学习通信，服务器端随机选择参与本轮通信的客户端，发放全局网络模型参数和训练过程中采用的损失函数以及优化器；被选中的客户端使用虚假数据进行全局网络模型的训练，并将训练好的全局网络模型参数发送回服务器端；服务器端采用联邦平均的聚合方法，进行全局网络模型参数更新；服务器端判断是否继续下一次通信，若是，则继续发布全局网络模型参数，否则结束通信，保存全局网络模型参数。本发明在原始数据孤岛的情况下进一步保护了客户端的数据隐私，有助于抵御成员推理攻击。

技术领域

本发明涉及机器学习技术领域，具体涉及一种抵御成员推理攻击的差分隐私联邦学习方法。

背景技术

联邦学习是一种带有隐私保护技术的分布式机器学习框架，目的在于通过分散的客户端在不进行数据外泄的情况下，协助参与机器学习模型的训练。在联邦学习架构下通过设计虚假模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。由于数据不发生转移，因此能有效保护用户隐私或影响数据规范。

但是在训练数据集较少等资源受限条件下，联邦学习往往性能表现较差，在该条件下，联邦学习的训练将受到阻碍。同时，当一些客户端数据不足，由这些客户端训练的全局网络模型会在服务器端聚合时对整体的全局网络模型产生负面影响。

在抵御成员推理攻击方面，联邦学习现有的方法一般是在客户端训练全局网络模型过程中对全局网络模型参数添加噪声，这种方法虽然能够起到抵御成员推理攻击的作用，但是这种方法往往会大大降低全局网络模型的性能。这种在训练过程中对模型参数加噪声的方法以牺牲较大模型性能为代价获取抵御成员推理攻击的特性，缺陷明显，需要进行改进。

发明内容

本发明针对联邦学习架构中成员推理攻击，提出一种抵御成员推理攻击的差分隐私联邦学习方法，使系统模型的隐私泄露风险得到降低，从而加强对隐私安全的保护。

实现本发明目的的技术解决方案为：一种抵御成员推理攻击的差分隐私联邦学习方法，包括以下步骤：

步骤1、各客户端使用本地数据进行训练生成一个对抗生成网络模型；

步骤2、各客户端使用对抗生成网络模型生成虚假数据；

步骤3、对每轮联邦学习通信，服务器端随机选择参与本轮通信的客户端，发放全局网络模型参数和训练过程中采用的损失函数以及优化器；

步骤4、被选中的客户端使用虚假数据进行全局网络模型的训练，并将训练好的全局网络模型参数发送回服务器端；

步骤5、服务器端采用联邦平均的聚合方法，进行全局网络模型参数更新；

步骤6、服务器端判断是否继续下一次通信，若是，则返回步骤3，若否，则结束通信，保存全局网络模型参数。

进一步地，服务器端和客户端之间通过传输全局网络模型参数以及训练所需的损失函数和优化器的方式通信，不直接传输训练数据。

进一步地，所述对抗生成网络模型采用条件对抗生成网络，在对抗生成网络中加入条件约束，限制生成的虚假数据种类和属性。

进一步地，使用对抗生成网络模型生成虚假数据时，设置参数产生类似原始样本的虚假数据，或者随机产生虚假数据。

进一步地，服务器端选择参与本轮通信的客户端时，先选择已训练好对抗生成网络模型的客户端参与本轮训练。

进一步地，所述客户端使用虚假数据进行全局网络模型的训练，其中：客户端选择参与全局网络模型训练的数据集，包括真实数据集掺杂设定比例的虚假数据集，或者完全采用虚假数据集。

进一步地，服务器端对全局网络模型参数进行聚合时采用联邦平均算法或者SMPC算法。