[发明专利]一种具有差分隐私保护的联邦学习模型训练方法

说明书

本发明公开了一种具有差分隐私保护的联邦学习模型训练方法，所述具有差分隐私保护的联邦学习模型训练方法如图1所示，包括如下步骤：建立模型和终端的连接，选择学习模型，建立模型与终端服务器的联系；模型的区分与分发，对模型进行样本级别和用户级别的区分，终端服务器将区分后的模型按照标准选择参与本轮联邦学习的设备；进行本地训练；建立隐私保护；更新全局模型；监控和反馈，数据备份记录。将模型分类进行差分隐私保护，提高对数据的保护效果；监控和反馈模块，监测数据是否存在隐私泄露，减少信息的泄露，便于隐私保护机制的维护和更新；数据备份，避免终端掉线影响数据的传输，提高训练效果。

技术领域

本申请涉及联邦学习领域，尤其是一种具有差分隐私保护的联邦学习模型训练方法。

背景技术

联邦机器学习又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。

模型未经过分类区分，不利于对模型分别进行差分隐私保护，影响数据的保护效果，缺乏对数据的监测，不易检测数据是否存在泄露，不利于隐私保护机制的维护和更新，且不易对数据备份，终端掉线时影响数据的传输，影响训练的效果。因此，针对上述问题提出一种具有差分隐私保护的联邦学习模型训练方法。

发明内容

在本实施例中提供了一种具有差分隐私保护的联邦学习模型训练方法用于解决现有技术中模型未经过分类区分，不利于对模型分别进行差分隐私保护，缺乏对数据的监测，不易检测数据是否存在泄露，不利于隐私保护机制的维护和更新，且不易对数据备份，终端掉线时影响数据的传输的问题。

提供了一种具有差分隐私保护的联邦学习模型训练方法，所述具有差分隐私保护的联邦学习模型训练方法包括如下步骤：

S1：建立模型和终端的连接，选择学习模型，建立学习模型与终端服务器的联系；

S2:模型的区分与分发，对模型进行样本级别和用户级别的区分，终端服务器将区分后的模型按照标准选择参与本轮联邦学习的设备；

S3:进行本地训练，每个设备加载当前全局模型，使用自己的训练数据训练，得到新的本地模型；

S4:建立隐私保护，根据模型类别的区分，采用不同的方式利用差分隐私保护对信息进行加密保护；

S5:更新全局模型，每个设备向服务器上传模型的更新值，服务器收集更新值后进行聚合，得到聚合结果，进而更新全局模型；

S6:监控和反馈，对数据的更新值进行监控，判断训练的模型是否泄露某个特定的样本或用户参与了训练，并将得到的结果向终端服务器进行反馈；

S7:数据备份记录，对更新后的全局模型数据进行备份存档，避免数据传输时损坏影响数据的获取。

所述步骤S1中，模型的联邦学习以轮为单位,每轮包含模型分发、本地训练和全局更新3个阶段。

所述步骤S2中区分模型的类别，减少不同模型之间的掺杂，提高模型训练时的差分隐私保护效果。

所述步骤S3中客户做完本地训练可得到梯度更新值,服务器不是直接对梯度更新值进行聚合,而是进行梯度裁剪，取所有用户梯度更新值的中位数值。

所述步骤S4中对样本级别的差分隐私保护时，采用：1、裁剪；2、加噪的步骤，根据一组损失函数计算完梯度之后，在进行梯度下降的更新前，第一步是对每个样本计算的梯度裁剪，第二步是在这个组内梯度更新前对梯度更新总值添加噪声。对梯度进行放缩,让梯度的二范数值在范围C内，之后添加的噪声的大小和C值有关。C值是一个动态变化的值，C的值选取为这个组内梯度的范数中位数值。