[发明专利]一种具有差分隐私保护的联邦学习模型训练方法

权利要求书

1.一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述具有差分隐私保护的联邦学习模型训练方法包括如下步骤：

S1:建立模型和终端的连接，选择学习模型，建立学习模型与终端服务器的联系；

S2:模型的区分与分发，对模型进行样本级别和用户级别的区分，终端服务器将区分后的模型按照标准选择参与本轮联邦学习的设备；

S3进行本地训练，每个设备加载当前全局模型，使用自己的训练数据训练，得到新的本地模型；

S4:建立隐私保护，根据模型类别的区分，采用不同的方式利用差分隐私保护对信息进行加密保护；

S5:更新全局模型，每个设备向服务器上传模型的更新值，服务器收集更新值后进行聚合，得到聚合结果，进而更新全局模型；

S6:监控和反馈，对数据的更新值进行监控，判断训练的模型是否泄露某个特定的样本或用户参与了训练，并将得到的结果向终端服务器进行反馈；

S7:数据备份记录，对更新后的全局模型数据进行备份存档，避免数据传输时损坏影响数据的获取；

所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S1中，模型的联邦学习以轮为单位,每个轮内包含模型分发、本地训练和全局更新这3个阶段。

2.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S2中区分模型的类别，减少不同模型之间的掺杂，提高模型训练时的差分隐私保护效果。

3.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S3中客户做完本地训练可得到梯度更新值,服务器不是直接对梯度更新值进行聚合,而是进行梯度裁剪，二阶范数限制取所有用户梯度更新值的中位数值。

4.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S4中对样本级别的差分隐私保护时，采用：1、裁剪；2、加噪的步骤，根据一组损失函数计算完梯度之后，在进行梯度下降的更新前，第一步是对每个样本计算的梯度裁剪，第二步是在这个组内梯度更新前对梯度更新总值添加噪声；对梯度进行放缩,让梯度的二范数值在范围C内，之后添加的噪声的大小和C值有关；C值是一个动态变化的值，C的值选取为这个组内梯度的范数中位数值。

5.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S4中对用户机构的差分隐私保护时，采用：1、裁剪；2、聚合；3、加噪的步骤，一般的联邦学习的聚合过程将每个用户返回梯度的更新值给服务器，由服务器做加权聚合。

6.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S4中添加噪声时，添加噪声的强度与用户梯度更新范数值中位数S有关；在聚合平均之后,服务器添加高斯噪声,然后做模型参数的全局更新。

7.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S4中每组参与训练的设备数量为3-5个。

8.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S6中当模型信息泄露时及时向终端服务器报警，工程师可针对漏洞进行修复，保证隐私保护的效果。

9.根据权利要求1所述的一种具有差分隐私保护的联邦学习模型训练方法，其特征在于：所述步骤S6中数据监控时向终端服务器的反馈时间间隔为1-3min。