[发明专利]边云系统框架下具有隐私保护的梯度下降加速算法

权利要求书

1.边云系统框架下具有隐私保护的梯度下降加速算法，其特征在于，包括以下步骤：

步骤1，初始化学习参数：设置全局变量初始值x₀，批大小b，梯度Lipschitz常数L，梯度方差σ²，延时上界τ_max，总迭代次数T，第一阶段学习率γ₁、第二阶段学习率γ₂，单次迭代隐私预算ε，第一阶段全局敏感度ΔS₁、第二阶段全局敏感度ΔS₂，第一阶段、第二阶段划分阈值c；

第一阶段

步骤2，从中心服务器中读取步骤1的全局变量：边服务器N_i从中心服务器读取当前时刻t的全局变量x_t至本地；

步骤3，计算本地梯度：边服务器N_i在本地数据集中随机抽取包含b条数据的一个batch，在batch上计算x_t处的梯度其中ξ为样本；

步骤4，对梯度添加噪声：从拉普拉斯分布Lap(ΔS₁/ε)中抽取噪声η_t，将噪声添加到梯度上，得到噪声梯度该机制确保梯度受到(ε，δ)-DP的差分隐私保护；

步骤5，更新全局变量：边服务器N_i将噪声梯度上传至中心服务器并利用公式更新全局变量；

步骤6，停止第一阶段：各边服务器独立并行重复步骤2)-6)直至条件成立，将此时的x_t记为x_tml并通信给中心服务器；

第二阶段

步骤7，广播新的初始值：中心服务器将x_tml广播给所有的边服务器，作为新的初始值x₀；

步骤8，读取全局变量：边服务器N_i从中心服务器读取当前时刻t的全局变量x_t至本地；

步骤9，计算本地梯度：在本地数据集中随机抽取包含b条数据的一个batch，计算x_t处的梯度

步骤10，对梯度添加噪声：从拉普拉斯分布Lap(ΔS₂/ε)中抽取噪声η_t，将噪声添加到梯度上，得到噪声梯度该机制确保梯度受到ε-DP的差分隐私保护；

步骤11，更新全局变量：边服务器N_i将噪声梯度上传至中心服务器并利用公式更新全局变量；

步骤12，停止第二阶段：当总的迭代次数达到T时结束学习，x_T为最终模型训练结果，中心服务器将训练结果广播给各边服务器，完成学习。

2.根据权利要求1所述的边云系统框架下具有隐私保护的梯度下降加速算法，其特征在于，步骤1的具体操作为：给定合理的初始值x₀，批大小b，总迭代次数T，单次迭代隐私预算ε；而对于其它参数，包括第一阶段学习率γ₁、第二阶段学习率γ₂，第一阶段全局敏感度ΔS₁、第二阶段全局敏感度ΔS₂，第一阶段、第二阶段划分阈值c，则需要按照以下公式进行计算

ΔS₂＝2c/b

c＞σ²/b

其中x^*为最优解，σ²为梯度方差，L为Lipschitz梯度光滑常数，1-δ为隐私保护程度，τ_max为延时上界，R为搜索空间直径，n为训练集的大小，b为批的大小，T为总的迭代次数。

3.根据权利要求1所述的边云系统框架下具有隐私保护的梯度下降加速算法，其特征在于，步骤2中各边服务器从中心服务器读取全局更新参量x_t的方式是独立并行的，边服务器N_i读取到本地的参量x_t(i)和边服务器N_j读取到本地的参量x_t(j)是不同的。