[发明专利]一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法

权利要求书

1.一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法，其特征在于，该方法包括以下步骤：

步骤1：客户端初始化，即每个客户端初始化本地模型参数，随机生成标量参数的初始值；

步骤2：每个客户端执行权重策略选择权重参数；

步骤3：每个客户端将训练后的模型更新参数广播给相邻可通信的客户端，同时接收来自内邻居客户端广播给自己的模型参数，并将本地的模型参数与接收到的邻居客户端的模型更新参数聚合；

步骤4：客户端更新本地模型参数；

步骤5：执行梯度下降操作，每个客户端更新梯度下降参数；

步骤6：循环步骤3-5，直到网络中传输的模型更新参数不再变化为止，即客户端计算出一致的共享最优模型，停止训练，跳出循环；其中：

步骤3所述每个客户端将训练后的模型更新参数广播给相邻可通信的客户端，同时接收来自内邻居广播给自己的模型参数，具体为：客户端i更新模型后将训练后的模型参数p_j，i(t)x_i(t)，p_j，i(t)y_i(t)上传给网络中的邻居客户端此过程只上传模型参数而不会将全部参数上传，同时接收来自内邻居客户端的模型参数p_i，j(t)x_i(t)，p_i，j(t)y_i(t)；

步骤3所述将本地的模型参数与接收到的邻居客户端的模型更新参数聚合，其目的在于综合考虑多个客户端的模型参数，有利于进行模型优化；聚合结果的计算公式如下：

其中z_i为客户端i聚合并计算所有接收到的模型参数与自己的模型参数的加权平均值。

2.根据权利要求1所述的梯度下降方法，其特征在于，步骤1所述每个客户端初始化本地模型参数，具体为：若网络中有n个客户端，每个客户端选择训练本地模型的算法；令x_i为客户端i的梯度下降参数，w_i为其本地模型参数，y_i(0)为其标量参数；起始轮时，客户端i初始化本地模型参数，令以及在区间的范围中任取标量值ζ′和β，使并且为了防止敌手通过知道客户端标量参数y_i(0)的初始值而解密更多的参数信息，客户端i从一个正值非零范围的分布随机生成标量参数y_i(0)的初始值。

3.根据权利要求1所述的梯度下降方法，其特征在于，步骤2所述权重策略：令p_j，i(t)为第t轮当客户端i发送其部分模型参数给邻居j时的模型权重参数，令为客户端i的外邻居数；当第t轮能够接收客户端i发送的消息的节点数满足时，对从范围为[ζ′，β]的分布中选择权重参数p_i，i(t)，计算赋给p_j，i(t)，即客户端i发送消息x_i(t)，y_i(t)的比例设置为p_j，i(t)，注意若不满足，则权重参数p_i，i(t)的值为1。

4.根据权利要求1所述的的梯度下降方法，其特征在于，所述步骤4具体为：利用聚合的结果来得到下一轮的模型参数，计算公式如下：w_i为本地模型参数，y_i为客户端标量参数，z_i为客户端i聚合并计算所有接收到的模型参数与自己的模型参数的加权平均值。

5.根据权利要求1所述的梯度下降方法，其特征在于，步骤5所述更新梯度下降参数：利用聚合的结果、下一轮的模型参数更新梯度下降参数，计算公式如下：其中η为学习速率，l_i为损失函数。