[发明专利]一种基于同态加密的跨组织分布式深度学习方法

权利要求书

1.一种基于同态加密的跨组织分布式深度学习方法，其特征在于：包括如下步骤，

随机选择某一客户端生成同态加密密钥对并将其同步到所有其他客户端；

被选择的领导客户端将初始化的模型也发送至其余客户端；

客户端进行深度学习迭代，进行本地梯度计算；

服务器从客户端收集处理后的梯度数据，并利用数据进行更新模型。

2.如权利要求1所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：其余客户端在进行每一次迭代时，每个客户端计算本地梯度更新，并利用公钥对其进行加密。

3.如权利要求1或2所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：在每个客户端对本地梯度进行更新后，服务器将开始接受加密后的更新结果，并将梯度数据进行收集。

4.如权利要求3所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：每个本地客户端建立分布式训练组件，并利用分布式训练组件计算本地更新，并定期与中心服务器进行通信，传递更新数据。

5.如权利要求4所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：建立分布式训练组件，建立优化目标函数f：

其中n是工作节点的数量，工作节点共同更新模型参数x∈R^d，其中d对应于参数的数量，f_i是在对数据进行采样的随机变量上定义的期望函数。

6.如权利要求1或5所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：在每个客户端内部建立梯度压缩组件，其中梯度压缩组件包括压缩器、解压器以及误差累积存储器，并利用梯度压缩组件进行梯度数据的压缩。

7.如权利要求6所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：建立随机梯度下降优化算法，并建立数学模型，并规定：在第k+1次迭代，随机梯度下降将模型参数更新为：

其中η_k＞0是学习速率，g_k是第k次迭代时的随机梯度(即f的梯度的无偏估计)，利用此模型进行参数计算。

8.如权利要求6所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：梯度压缩组件从每个层中选择最重要的梯度，并通过考虑梯度的幅度来过滤无关紧要的梯度，对于任何向量x∈R^d并给定1≤k≤d，稀疏化压缩器Top(x，k)：R^d→R^d的第i个分量(i＝1，...，d)定义为：

其中x_i是x的第i个元素，h是x的第k个最大的分量绝对值，而后对梯度向量进行稀疏化，用索引向量i和值向量s表示非零梯度。

9.如权利要求6或8所述的基于同态加密的跨组织分布式深度学习方法，其特征在于：在服务器内部将稀疏梯度的表示为键值对(索引向量和值向量)，然后使用同态加密对值进行加密。