[发明专利]一种基于联邦学习的隐私计算方法、装置、系统及设备

权利要求书

1.一种基于联邦学习的隐私计算方法，其特征在于，应用于服务器端，所述方法包括：

从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端；

将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值，其中，所述子模型参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型参数的变化值；

接收各所述目标客户端发送的所述剪裁后的子模型参数变化值；

对各所述剪裁后的子模型参数变化值进行聚合处理，得到聚合模型参数变化值；

利用差分隐私机制对所述聚合模型参数变化值进行加噪处理，并基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数，以及将更新后的目标聚合模型参数发送给各所述目标客户端；

在当前迭代次数满足预设收敛条件的情况下，按照中心极限定理，利用f-差分隐私机制对目标聚合模型的隐私参数值进行计算；

在当前迭代次数不满足预设收敛条件的情况下，返回执行从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端的步骤；

其中，所述按照中心极限定理，利用f-差分隐私机制对目标聚合模型的隐私参数值进行计算，包括：

使用如下第二预设表达式，对目标聚合模型的隐私参数值进行计算：

其中，μ表示目标聚合模型的隐私参数值，p表示对目标客户端的抽样概率，T表示联邦学习的预设迭代次数，z表示噪声尺度参数，Φ()表示正态分布的累计分布函数；

或者，使用如下第三预设表达式，对目标聚合模型的隐私参数值进行计算：

其中，μ表示目标聚合模型的隐私参数值，p表示对目标客户端的抽样概率，T表示联邦学习的预设迭代次数，z表示噪声尺度参数。

2.根据权利要求1所述的方法，其特征在于，所述将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值的步骤，包括：

将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数分别对子模型各层的参数变化值进行剪裁，得到剪裁后的子模型参数变化值；其中，子模型各层的参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型各层的参数变化值。

3.根据权利要求1所述的方法，其特征在于，所述利用差分隐私机制对所述聚合模型参数变化值进行加噪处理，并基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数的步骤，包括：

利用差分隐私机制，使用如下第一预设表达式，对所述聚合模型参数变化值进行加噪处理，并基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数：

其中，w^t+1表示更新后的目标聚合模型参数，w^t表示第t次迭代下目标聚合模型参数，Δw^t+1表示聚合模型参数变化值，m表示目标客户端的个数，表示期望为0，方差为z²·S²的高斯分布函数，z表示噪声尺度参数，S表示预设的剪裁参数。