[发明专利]一种基于同态加密的跨组织分布式深度学习方法

说明书

本发明公开了一种基于同态加密的跨组织分布式深度学习方法，包括如下步骤，随机选择某一客户端生成同态加密密钥对并将其同步到所有其他客户端；被选择的领导客户端将初始化的模型也发送至其余客户端；客户端进行深度学习迭代，进行本地梯度计算；服务器从客户端收集处理后的梯度数据，并利用数据进行更新模型。该方法以及方法依赖的框架能够大大减少同态加密引起的严重计算和通信开销，同时保证模型预测准确性不受到损害。

技术领域

本发明涉及分布式深度学习的技术领域，尤其涉及一种基于同态加密的跨组织分布式深度学习方法。

背景技术

近年来，深度学习取得了长足的进步。研究人员和工程师已经将深度学习技术应用到包括计算机视觉、自然语言处理、语音识别等在内的诸多领域。为了获得更高的预测精度、支持更智能的任务，需要训练更复杂的神经网络。然而，训练大型模型所需的输入数据会随模型参数呈指数增长，对大规模数据训练大型深度神经网络已经超过了单一机器的计算和存储能力；其次，数据通常以孤岛的形式存在，收集数据进行集中训练会导致严重的隐私问题，甚至可能被法规禁止。因此，需要在多台计算机之间分配训练工作量，并从集中式训练转向分布式训练。

加法同态加密在跨组织分布式场景下特别有吸引力，因为它允许在密文上执行聚合而无需事先解密它们，并提供强大的隐私保证，而不惜学习准确性损失为代价。但是，同态加密执行复杂的加密操作，这些操作的计算成本极高。更糟糕的是，加密会产生更大的密文，从而极大地增加了通信的数据量。

为了使同态加密实际集成到跨组织分布式深度学习中，我们必须正确解决同态加密引起的过度计算和通信开销，同时模型预测准确性不应受到损害。由于加速单个同态加密操作或压缩密文占用空间并不能消除在分布式深度学习中采用同态加密的瓶颈。由于要执行的加密操作太多，因此可以通过压缩梯度，以便大大减少加密操作和密文传输的数量。但是，基于同态加密的跨组织分布式深度学习面临以下挑战。首先，服务器只能对由加法同态加密的密文执行加法操作，压缩算法应具有可加性以适应加法同态加密。其次，具有高压缩比的有损压梯度缩将损害已训练模型的性能，压缩方案应进行误差修正。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有基于同态加密的跨组织分布式深度学习方法存在的问题，提出了本发明。

因此，本发明目的是提供一种基于同态加密的跨组织分布式深度学习方法。

为解决上述技术问题，本发明提供如下技术方案：一种基于同态加密的跨组织分布式深度学习方法，包括如下步骤，

随机选择某一客户端生成同态加密密钥对并将其同步到所有其他客户端；

被选择的领导客户端将初始化的模型也发送至其余客户端；

客户端进行深度学习迭代，进行本地梯度计算；

服务器从客户端收集处理后的梯度数据，并利用数据进行更新模型。

作为本发明所述基于同态加密的跨组织分布式深度学习方法的一种优选方案，其中：其余客户端在进行每一次迭代时，每个客户端计算本地梯度更新，并利用公钥对其进行加密。

作为本发明所述基于同态加密的跨组织分布式深度学习方法的一种优选方案，其中：在每个客户端对本地梯度进行更新后，服务器将开始接受加密后的更新结果，并将梯度数据进行归拢收集。

作为本发明所述基于同态加密的跨组织分布式深度学习方法的一种优选方案，其中：每个本地客户端建立分布式训练组件，并利用分布式训练组件计算本地更新，并定期与中心服务器进行通信，传递更新数据。