[发明专利]具有本地隐私保护的自适应异步联邦学习方法

权利要求书

1.具有本地隐私保护的自适应异步联邦学习方法，其特征在于，中心服务器初始化全局模型并将全局模型参量、梯度裁剪标准、噪声机制、噪声方差广播给所有参与用户，每个用户先利用从本地数据中抽取的样本训练全局模型并对梯度逐个进行裁剪、扰动，之后将扰动的梯度发送至中心服务器，中心服务器从缓冲队列中选取前K个扰动梯度进行平均聚合，并将平均后的梯度代入随机梯度下降公式更新全局模型参量，同时根据预设阶段迭代次数自适应地调节梯度裁剪标准、噪声方差、学习率，之后中心服务器将更新后的全局模型参量、梯度裁剪标准、噪声方差广播给上一回合参与更新的K个用户，本地用户和中心服务器重复上述操作直至全局迭代次数达到给定标准，具体包括以下步骤：

1)参量初始化：中心服务器定义损失函数f(w，ξ)、每回合参与用户量K、学习率γ、梯度裁剪标准c、噪声机制噪声方差σ²、衰减比例ρ、样本抽样比率r、全局迭代次数T、阶段更新次数T_s、初始化模型参量w₁；

2)参量广播：中心服务器将当前时刻模型参量w₁、梯度裁剪标准c、噪声机制噪声方差σ²、样本抽样概率r发送给全部用户；

3)本地梯度计算：每个用户基于接收到的样本抽样概率r从本地抽取训练样本，之后基于接收的模型参量计算训练样本对应的梯度，其中训练样本大小是期望为n_kr的随机变量，n_k为第k个用户的样本总量；

4)本地梯度裁剪：每个用户基于接收到的梯度裁剪标准c对训练样本上的梯度逐个裁剪；

5)本地梯度扰动：对每个训练样本对应的梯度，独立地从噪声机制从中抽取方差为σ²的噪声并将此噪声添加到裁剪后的梯度；

6)本地梯度上传：每个用户计算本地扰动后梯度的平均值，并独立并行地将平均值上传至中心服务嚣；

7)全局梯度聚合：中心服务器从缓冲队列中选取前K个本地用户的扰动梯度并取其平均；

8)全局模型更新：中心服务器基于平均聚合梯度对全局模型参量w_t进行梯度下降更新，得到更新后的模型参量w_t+1；

9)自适应参量更新：中心服务器根据当前全局迭代次数t与预设阶段更新阈值T_s关系判断是否更新梯度裁剪标准、噪声方差、学习率三个参量：

若是，则按照比例ρ∈(0，1)衰减梯度裁剪标准；按照比例ρ²∈(0，1)衰减噪声方差；按照特定公式更新学习率；

若否，则继续使用当前梯度裁剪标准、噪声方差、学习率；

10)更新参量发送：中心服务器将更新后的全局模型参量w_t+1和自适应调节后的梯度裁剪标准、噪声方差发送至上回合参与更新的K个用户，在下一回合全局模型更新中使用自适应调节后的学习率，上述过程重复进行直至满足给定的全局迭代次数T。

2.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，1)的具体操作为：中心服务器定义损失函数f(w，ξ)、每回合参与用户量K、学习率γ、梯度裁剪标准c、噪声机制噪声方差σ²、衰减比例ρ、样本抽样比率r、全局迭代次数T、阶段迭代次数T_s、初始化模型参量w₁，

假设损失函数f(w，ξ)满足L-Lipschitz光滑，即同时满足梯度有界，即其中为第k个用户的样本分布，第k个用户的样本量为n_k，令其中为全体参与联邦学习用户集合；

设置学习率γ：P为待定参量且其计算公式为其中

设置当前阶段迭代次数T_s：

3.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，2)的具体操作为：中心服务器将初始模型参量w₁、梯度裁剪标准c、噪声机制噪声方差σ²、样本抽样概率r广播给全部用户。