[发明专利]一种基于联邦学习的隐私计算方法、装置、系统及设备

说明书

本发明实施例提供了一种基于联邦学习的隐私计算方法、装置、系统及设备，所述方法应用于服务器端，包括：确定参与本次迭代训练的各目标客户端；将预设的剪裁参数发送至各目标客户端，以使各目标客户端对子模型参数变化值进行剪裁；接收剪裁后的子模型参数变化值并进行聚合处理，得到聚合模型参数变化值；基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数；在当前迭代满足预设收敛条件时，按照中心极限定理，利用f‑差分隐私机制对目标聚合模型的隐私参数值进行计算；在不满足时返回执行确定参与本次迭代训练的各目标客户端的步骤。本发明实施例，能够对基于联邦学习的模型隐私参数进行计算。

技术领域

本发明涉及联邦学习技术领域，特别是涉及一种基于联邦学习的隐私计算方法、装置、系统及设备。

背景技术

随着科技的发展，国际社会上对信息安全、个人隐私的问题越来越重视，各种相关的法案相继颁布，对私人数据的管理、监督、保护更加全面化、严格化、密集化。各公司对各自的数据也越来越重视，作为资产不可能拿出来分享，这就造成了数据孤岛的现象。为解决设备间的数据孤岛问题，谷歌提出了针对手机终端的联邦学习方法。联邦学习，就是联合不同终端、不同公司、不同商家等的数据，共同训练模型，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛。

相关技术中，基于联邦学习的模型，为保护各终端用户数据的隐私，模型训练过程中，在各终端为本地用户数据添加扰动噪声，进而将添加扰动得到的终端子模型参数上传至服务器进行联合训练，实现用户级别数据的隐私保护。在该过程中，联合训练得到的模型隐私参数的计算成为亟待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种基于联邦学习的隐私计算方法、装置、系统及设备，以对基于联邦学习的模型隐私参数进行计算。具体技术方案如下：

第一方面，本发明实施例提供了一种基于联邦学习的隐私计算方法，应用于服务器端，所述方法包括：

从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端；

将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值，其中，所述子模型参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型参数的变化值；

接收各所述目标客户端发送的所述剪裁后的子模型参数变化值；

对各所述剪裁后的子模型参数变化值进行聚合处理，得到聚合模型参数变化值；

利用差分隐私机制对所述聚合模型参数变化值进行加噪处理，并基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数，以及将更新后的目标聚合模型参数发送给各所述目标客户端；

在当前迭代次数满足预设收敛条件的情况下，按照中心极限定理，利用f-差分隐私机制对目标聚合模型的隐私参数值进行计算；

在当前迭代次数不满足预设收敛条件的情况下，返回执行从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端的步骤。

可选地，所述将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值的步骤，包括：

将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数分别对子模型各层的参数变化值进行剪裁，得到剪裁后的子模型参数变化值；其中，子模型各层的参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型各层的参数变化值。