[发明专利]具有本地隐私保护的自适应异步联邦学习方法

说明书

本发明公开了一种具有本地隐私保护的自适应异步联邦学习方法，中心服务器初始化全局模型并将全局模型参量、梯度裁剪标准、噪声机制、噪声方差广播给所有参与用户，每个用户先利用从本地数据中抽取的样本训练全局模型并对梯度逐个进行裁剪、扰动，之后将扰动的梯度发送至中心服务器，中心服务器从缓冲队列中选取前K个扰动梯度进行平均聚合，并将平均后的梯度代入随机梯度下降公式更新全局模型参量，同时根据预设阶段迭代次数自适应地调节梯度裁剪标准、噪声方差、学习率，之后中心服务器将更新后的全局模型参量、梯度裁剪标准、噪声方差广播给上一回合参与更新的K个用户，本地用户和中心服务器重复上述操作直至全局迭代次数达到给定标准。

技术领域

本发明属于安全联邦学习领域，具体涉及一种具有本地隐私保护的自适应异步联邦学习方法。

背景技术

现今社会已经进入大数据时代，通过人工智能、机器学习、大数据技术对数据进行深入的分析和挖掘可以最大程度释放数据的价值，从而推进社会经济的快速发展。但由于数据天然地分布或储存在不同用户设备中(包括个人设备或企业设备)并且这些数据具有很强的敏感性，对用户数据直接聚合、分析、挖掘会造成用户隐私信息泄露。联邦学习保证用户数据保留在本地前提下，仅通过用户与中心服务器进行多回合中间信息交换聚合来共同完成全局模型的训练。由于联邦学习既保证了用户原始数据的隐私安全又能达到媲美集中式下的模型效用，因此联邦学习近几年受到了企业的大量关注和研究。但目前研究内容侧重于同步联邦学习，轻视了异步联邦学习研究；侧重于中心服务器可信假设下的研究，未充分考虑中心服务器不可信假设下的研究；侧重于使用固定梯度裁剪标准，缺乏自适应梯度裁剪标准的策略研究。具体地，存在以下三方面不足。第一，轻视异步联邦学习研究。联邦学习中用户设备的计算能力和通信能力存在明显异质性，同步联邦学习中需要等待最慢学习者从而会降低学习效率，异步联邦学习可以显著提高用户联合学习的效率。第二，未充分考虑中心服务器不可信假设下的联邦学习。多数研究中往往假设中心服务器完全可信，但现实中中心服务器可能会通过中间信息去推测用户的原始信息。因此用户在本地对中间信息进行加密可提供更为安全可信的联邦学习。第三，缺乏自适应梯度裁剪标准的策略研究。联邦学习中通常对梯度进行裁剪以保证模型的效用性，但当使用差分隐私保护技术进行本地隐私保护时，固定的梯度裁剪难以适用于整个学习过程梯度的变化规律，从而会降低最终的模型效用。

发明内容

本发明的目的在于克服上述现有方法的缺点，提供了一种具有本地隐私保护的自适应异步联邦学习方法，该方法解决了异步联邦学习中用户隐私信息的安全性和最终模型的效用性问题。

为达到上述目的，本发明采用如下技术方案来实现的：

具有本地隐私保护的自适应异步联邦学习方法，中心服务器初始化全局模型并将全局模型参量、梯度裁剪标准、噪声机制、噪声方差广播给所有参与用户，每个用户先利用从本地数据中抽取的样本训练全局模型并对梯度逐个进行裁剪、扰动，之后将扰动的梯度发送至中心服务器，中心服务器从缓冲队列中选取前K个扰动梯度进行平均聚合，并将平均后的梯度代入随机梯度下降公式更新全局模型参量，同时根据预设阶段迭代次数自适应地调节梯度裁剪标准、噪声方差、学习率，之后中心服务器将更新后的全局模型参量、梯度裁剪标准、噪声方差广播给上一回合参与更新的K个用户，本地用户和中心服务器重复上述操作直至全局迭代次数达到给定标准，具体包括以下步骤：

1)参量初始化：中心服务器定义损失函数f(w，ξ)、每回合参与用户量K、学习率γ、梯度裁剪标准c、噪声机制噪声方差σ²、衰减比例ρ、样本抽样比率r、全局迭代次数T、阶段更新次数T_s、初始化模型参量w₁；

2)参量广播：中心服务器将当前时刻模型参量w₁、梯度裁剪标准c、噪声机制噪声方差σ²、样本抽样概率r发送给全部用户；