[发明专利]基于差分隐私置乱模型的联邦协同蒸馏方法及系统

说明书

本发明公开了一种基于差分隐私置乱模型的联邦协同蒸馏方法及系统。该方法包括：联邦服务器通过无放回子采样方法对客户端进行随机采样，得到参与联邦训练的客户端；联邦服务器生成密钥和公共无标签数据集，并将密钥和公共无标签数据集发送到参与联邦训练的客户端；参与联邦训练的客户端利用本地数据集对本地分类器进行训练，得到训练完成的本地分类器；训练完成的本地分类器对公共无标签数据集进行预测，得到预测结果，并将预测结果进行加密后上传到混淆器中；混淆器对预测结果进行匿名和乱序处理，并将得到的处理结果上传到联邦服务器中；联邦服务器将处理结果进行解密和聚合处理，得到软标签，并将软标签传输到下一轮参与联邦训练的客户端中。

技术领域

本发明涉及数据隐私保护技术领域，特别涉及一种基于差分隐私置乱模型的联邦协同蒸馏方法、系统、电子设备及存储介质。

背景技术

联邦学习是一种新的分布式机器学习范式，它的出现突破了由于数据安全、行业竞争和用户隐私等形成的数据孤岛。联邦学习可以通过只传输模型参数的方式来整合分布式数据并用于训练机器学习模型。虽然只传输模型参数不会直接泄露本地数据隐私，但是已有研究表明：攻击者可以通过模型参数（甚至模型梯度）恢复出该模型的训练数据。由此可见，联邦学习需要额外的隐私保护技术来增强保护能力。

然而，在现有技术中，经典的联邦学习方法被称为联邦平均，其通过上传模型参数或者更新实现信息交流，但这样会引入极大的通信开销。并且，由于各参与方所拥有的数据具有异质性（通常是非独立同分布的），经典的联邦平均方法在异质数据下性能会大打折扣。联邦平均的另一个缺陷是：当参与训练的客户端算力不一致时，客户端无法根据自身情况选择符合算力的机器学习模型进行训练，从而导致方法的普适性降低。

发明内容

鉴于上述问题，本发明提供了一种基于差分隐私置乱模型的联邦协同蒸馏方法、系统、电子设备及存储介质，以期能够解决上述问题之一。

根据本发明的第一方面，提供了一种基于差分隐私置乱模型的联邦协同蒸馏方法，包括：

联邦服务器通过无放回子采样方法对M个客户端进行随机采样，得到N个参与联邦训练的客户端，其中，M和N均为正整数，NM；

联邦服务器生成密钥和公共无标签数据集，并将密钥和公共无标签数据集发送到N个参与联邦训练的客户端；

每个参与联邦训练的客户端利用自身的本地数据集对自身的本地分类器进行训练，得到N个训练完成的本地分类器；

每个训练完成的本地分类器对公共无标签数据集进行预测，得到预测结果，并将预测结果进行加密后上传到混淆器中；

混淆器利用shuffle方法对来自N个参与联邦训练的客户端的预测结果进行匿名和乱序处理，并将得到的N个处理结果上传到联邦服务器中，其中，shuffle方法用于实现隐私放大；

联邦服务器将N个处理结果进行解密和聚合处理，得到软标签，并将软标签传输到下一轮参与联邦训练的客户端中，其中，软标签作为公共无标签数据集的标签。

根据本发明实施例，上述联邦服务器生成密钥和公共无标签数据集，并将密钥和公共无标签数据集发送到N个参与联邦训练的客户端包括：

联邦服务器对联邦训练的轮次进行判断，得到判断结果；

联邦服务器生成密钥和公共无标签数据集；

联邦服务器对公共无标签数据集进行聚类处理，得到聚类后的无标签数据集；

在判断结果是首轮联邦训练的情况下，通过联邦服务器将密钥和聚类后的无标签数据集发送到N个参与联邦训练的客户端中；

在判断结果不是首轮联邦训练的情况下，联邦服务器将上一轮联邦训练的软标签、密钥以及聚类后的无标签数据集发送N个参与联邦训练的客户端中。

根据本发明实施例，上述联邦服务器对公共无标签数据集进行聚类处理，得到聚类后的无标签数据集包括：

联邦服务器利用卷积神经网络对公共无标签数据集进行特征提取，得到提取结果；