[发明专利]一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法

说明书

本发明公开了一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法，具体实施步骤为：客户端初始化时随机生成标量参数的初始值；客户端执行权重策略选择权重参数；客户端广播模型参数给邻居，同时接收来自内邻居广播的模型参数，再将模型更新参数聚合；客户端更新本地模型参数；客户端更新梯度下降参数。本发明的在跨筒仓联邦学习中保护本地隐私的梯度下降方法，克服了面向跨筒仓/跨设备联邦学习的几种经典梯度下降方法中的隐私缺陷，在训练线性回归任务时可以更好的保护本地模型隐私。

技术领域

本发明涉及一种在联邦学习中的隐私保护方法，具体的来说，即一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法。

背景技术

随着人们对私有信息隐私保护问题的日益重视，数据安全和隐私保护分析成为众多领域的重要研究热点。联邦学习是一种分布式机器学习的优化算法，可以降低传统机器学习方法蕴藏的隐私风险。联邦学习的一个主要优点是原始数据存储在客户端本地，在客户端和服务器之间交换相关参数的本地训练过程中，可以避免潜在的敌手窃听用户敏感私有的原始数据。

虽然联邦学习在保护个体敏感信息方面具有突出优势，但仍然存在泄漏隐私的风险。在基于联邦学习协调训练全局共享最优模型的过程中，客户端与服务器(或客户端)之间存在传输模型更新等相关参数的通信信道，当客户端接收到服务器发送的模型参数后，客户端根据下载的本地模型更新模型参数，例如，利用随机梯度下降方法优化本地模型，但此过程中存在着潜在的客户端隐私泄露的风险，即隐藏的敌手可能会通过窃取训练过程中信道上的传输信息推断出客户端的本地模型。已有相关研究工作表明敏感信息隐藏在模型内部。例如，2014年，Fredrikson等人的研究工作中引入了一种模型反演攻击方法，并将其应用于个性化医学中的线性分类器研究中，结果表明用户隐私可能通过滥用对机器学习模型的对抗性访问来获取。2015年，Fredrikson等人又提出了一种利用置信度信息的新型模型反演攻击方法，表明在神经网络和机器学习作为系统服务的情况下，有能力对模型进行预测查询的敌手可以通过得知置信度的值，在仅给定相关姓名及访问机器学习模型权限的条件下恢复用户面部图像。

联邦学习有两种经典设置，分别是跨设备联邦学习和跨筒仓联邦学习，区别在于前者有中心服务器，客户端将模型参数上传给服务器，而后者仅由客户端构成，由客户端之间进行端对端传输。相比前者允许客户端大规模并行运算的特征，后者客户端的规模会小很多，但在低带宽和高延迟的网络上运行时，跨筒仓联邦设置可以降低高昂的通信成本，提高通信效率。

Mcmahan等人提出了一种面向跨设备联邦学习的梯度下降方法，即FedAvg方法。FedAvg方法是一种基于迭代模型平均的去中心化方法，即让训练数据分布在移动设备(客户端)上，并通过服务器聚合本地模型更新与移动设备协作学习共享模型。但FedAvg方法引入了通信瓶颈。因此，而面向跨筒仓联邦学习的梯度下降工作，一种面向跨筒仓联邦学习的名为CBGD的梯度下降方法被首次提出用于分布式(去中心)的优化，它对筒仓间的通信网络具有很强的自适应能力。但是，CBGD方法需要将整个模型参数传输给邻居客户端，这个过程存在隐私隐患，恶意敌手在对梯度下降方法流程有足够认知的情况下，可以从其梯度更新步骤中解密出客户端的本地模型。因此，PSGD方法被提出，该方法中客户端只需要向邻居发送部分模型参数。然而，已经有工作证明，假设存在一个具有窃听能力及了解这三种梯度下降方法流程的好奇敌手，当客户端在训练线性回归任务时，敌手有能力推导出客户端本地模型。因此经典的FegAvg方法、CBGD方法和PSGD方法均不能保护客户端本地隐私。

发明内容

有鉴于此，本发明的目的是提出一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法。

实现本发明目的的具体技术方案是：

一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法，该方法包括以下步骤：

步骤1：客户端初始化，即每个客户端初始化本地模型参数，随机生成标量参数的初始值；

步骤2：每个客户端执行权重策略选择权重参数；