[发明专利]在不规则用户中保留隐私的联邦学习的方法

说明书

本发明提供一种在不规则用户中保留隐私的联邦学习的方法，包括步骤：1)系统初始化；2)加密的汇总结果初始化；3)更新加密的用户的可靠性；4)更新加密的汇总结果：服务器利用更新得到的加密的用户的可靠性作为汇总结果的权重来更新各梯度的加密的汇总结果使得可靠性越低的用户对汇总结果的影响越小。本发明保护所有用户相关信息的隐私，并且减少用户在训练过程中因使用低质量数据的影响，同时确保用户相关信息的真实性。由服务器完成大部分计算，对于计算能力有限的终端用户来说非常友好，且对用户在整个训练过程中由于各种不可预知的原因而中途退出也具有鲁棒性。

技术领域

本发明具体涉及一种在云环境下面向非规则用户的保护隐私的联邦深度学习方法，属于信息安全技术领域。

技术背景

传统的集中式深度学习通常需要一个数据处理中心(如云服务器)来收集大量的用户数据，并训练深度神经网络。深度学习作为人工智能的一个有前途的分支，已经渗透到电子健康的各个领域，如疾病预测、分析、预防和远程医疗等。此外，日益流行的网络链接设备提供了大量的电子健康记录，如可穿戴设备和智能手机等，在这些记录上进行深度学习模型可以显著提高医疗服务的质量。虽然将深度学习应用到电子健康有显而易见的好处，但收集大量的电子健康记录可能会泄露参与者隐私敏感信息，如疾病历史和医疗记录。为了解决这个问题，联邦学习被广泛应用于电子健康，因为它只通过在神经网络之间共享参数来支持神经网络优化，而不是共享用户的原始数据。用户只需要将本地完成一次训练iteration之后的训练模型(深度神经网络)梯度发送给云服务器，云服务器收集梯度计算汇总结果再下发至用户，用户根据接收到的汇总结果对本地的下一次的训练时使用的模型参数进行调整，直至完成训练。

然而，最新的研究表明，对手(如云服务器)仍然可以利用共享的梯度和汇总结果恢复目标数据(如数据标签、成员关系等)。为了解决联合训练过程中的隐私泄露问题，人们提出了许多出色的解决方案，并将其应用于各种场景。

在真实的场景中，每个用户所持有的原始数据的质量通常是不均匀的。拥有高级专业知识或终端设备的用户通常生成高质量的数据，而其他人可能持有低质量的数据。在本文中，我们将这些低质量数据的用户视为不规则用户。显然，在联合训练过程中，不规则用户共享的参数可能会影响训练的准确性，甚至导致最终模型的无用性。

综上，目前的联邦学习机制存在以下不足:1)当模型的准确性是可接受的时，对手仍然可以很容易地恢复用户的敏感数据。2)要求成功完成私有训练任务的服务器是可信的，这与许多实际场景中不可信服务器设置的假设相矛盾。3)服务器可以访问每个用户的可靠性，即每个用户的“数据质量”信息(称为用户的可靠性)未进行保密。

发明内容

本发明所要解决的技术问题是，提供一种考虑到不规则用户的可靠性并能保留数据隐私的联邦深度学习方法。

本发明为解决上述技术问题所采用的技术方案是，在不规则用户中保留隐私的联邦学习的方法，包括以下步骤：

1)系统初始化：被指定的两台服务器S₀、S₁，服务器S₁保存有第三方为其生成一对非对称密钥(pk₁,sk₁)，pk₁为公钥，sk₁为私钥；服务器S₀用于接收用户发送的使用公钥pk₁加密的梯度其中，为用户i第m次迭代的梯度，i为用户序号i＝1,…,N，N为系统内用户总数；

2)加密的汇总结果初始化：服务器S₀初始化各次迭代的汇总结果并使用公钥pk₁加密后发送至各用户；其中，表示使用公钥pk₁对A加密，为第m次迭代中使用的汇总结果，m∈[1,M]，M表示完成一代训练epoch时所进行的迭代Iteration的总次数，m表示迭代次数序号；