[发明专利]边云系统框架下具有隐私保护的梯度下降加速算法

说明书

边云系统框架下具有隐私保护的梯度下降加速算法，各个边服务器从中心服务器读取当前时刻的更新参量至本地服务器，从本地数据集中随机抽取一个批数据并在此批上计算梯度，随后从拉普拉斯分布中随机抽取噪声对梯度进行加密，之后上传至中心服务器完成梯度下降更新；若梯度的范数大于给定的阈值，则使用第一阶段的全局敏感度和学习率，利用过时梯度加速收敛并保护隐私；若梯度的范数小于给定的阈值，则转入第二阶段，使用调整后的全局敏感度和学习率，利用过时梯度加速收敛并保护隐私；解决了异步并行算法迭代更新时的隐私保护和收敛慢问题。

技术领域

本发明属于隐私保护技术领域，具体涉及一种边云系统框架下具有隐私保护的梯度下降加速算法。

背景技术

机器学习和人工智能的飞速发展为工业生产、社会生活产生了巨大利益并带来了极大便利，而用于机器学习的数据通常分布在各边服务器上，当数据量较小且不考虑隐私保护时，可将原始数据上传至中心服务器完成学习。但考虑到数据量的爆炸式增长和其中包含的大量用户的个人信息，将原始数据上传至中心服务器进行学习会消耗大量的I/O资源并增加用户隐私泄露的风险。为了解决这两个问题，可以采用边云智能学习，各边不需要将数据上传至中心服务器，而只需要将本地的梯度上传至中心服务器并在中心服务器异步并行地完成学习。即便如此，上传的梯度仍可能泄露本地数据的相关信息，另外异步并行方式产生的用于更新的过时信息会延长学习过程。因此，在边云系统中有两个基本的问题亟待解决：1)如何在保护梯度的同时，不显著降低学习结果的效用性？2)如何显著缩短机器学习过程并保证良好的预测精度，即如何显著提升机器学习的收敛率？

发明内容

为克服上述现有技术的不足，本发明的目的在于提供了一种边云系统框架下具有隐私保护的梯度下降加速算法，该算法显著提升了边云系统中基于梯度下降的异步并行算法的收敛率并提升预测精度，同时利用两阶段特性通过引入少量噪声有效提升了差分隐私保护的有效性和效率性问题。

为实现上述目的，本发明采用的技术方案是：

边云系统框架下具有隐私保护的梯度下降加速算法—两阶段可调节隐私保护算法(TAPA)，所有的边服务器独立并行的从中心服务器上读取当前时刻的更新参量x_t至本地，在随机抽取的本地mini-batch上计算梯度随后从拉普拉斯分布Lap(ΔS/ε)中随机抽取噪声η_t添加到梯度上得到之后将上传到中心服务器完成梯度下降更新两个阶段的区别在于所采用的拉普拉斯分布中的参量全局敏感度ΔS和学习率γ不相同，具体包括以下步骤：

步骤1，初始化学习参数：设置全局变量初始值x₀，批大小b，梯度Lipschitz常数L，梯度方差σ²，延时上界τ_max，总迭代次数T，第一阶段学习率γ₁、第二阶段学习率γ₂，单次迭代隐私预算ε，第一阶段全局敏感度ΔS₁、第二阶段全局敏感度ΔS₂，第一阶段、第二阶段划分阈值c；

第一阶段

步骤2，从中心服务器中读取步骤1的全局变量：边服务器N_i从中心服务器读取当前时刻t的全局变量x_t至本地；

步骤3，计算本地梯度：在本地数据集中随机抽取包含b条数据的一个batch，在batch上计算x_t处的梯度其中ξ为样本；

步骤4，对梯度添加噪声：从拉普拉斯分布Lap(ΔS₁/ε)中抽取噪声η_t，将噪声添加到梯度上，得到噪声梯度该机制确保梯度受到(ε，δ)-DP的差分隐私保护；

步骤5，更新全局变量：边服务器N_i将噪声梯度上传至中心服务器并利用公式更新全局变量；