[发明专利]数据处理方法、联邦学习的训练方法及相关装置、设备

说明书

本申请提供了一种数据处理方法、联邦学习的训练方法及相关装置、设备，方法应用于联邦学习系统，联邦学习系统包括服务器和多个终端，服务器存储有每个终端各自对应的协同关系，协同关系用于指示每个终端各自对应的协同终端，方法包括：第一终端从服务器获取待训练的第一机器学习模型；其中，第一终端为多个终端中的任意一个终端；第一终端通过自身存储的本地数据对第一机器学习模型进行训练，得到训练好的模型参数；第一终端根据协同关系确定第一终端对应的第一协同终端，并通过第一协同终端将第一终端训练好的部分或全部模型参数发送给服务器；协同关系为服务器下发给第一终端的。实施本申请，可以提高服务器与终端之间数据交互的安全性。

技术领域

本申请涉及数据安全保护技术领域，尤其涉及一种数据处理方法、联邦学习的训练方法及相关装置、设备。

背景技术

在互联网、大数据和机器学习的助推下，人工智能技术日新月异，刷脸支付、辅助诊断、个性化服务等逐步走人大众视野并深刻改变着人类的生产与生活方式。然而，在这些外表光鲜的智能产品背后，用户的生理特征、医疗记录、社交网络等大量个人敏感数据无时无刻不在被各类企业、机构肆意收集。大规模数据收集能够带动机器学习性能的提升，实现经济效益和社会效益的共贏，但也令个人隐私保护面临更大的风险与挑战，主要表现在2方面：首先，由不可靠的数据收集者导致的数据泄露事件频发，不仅对企业造成重大经济和信誉损失，也对社会稳定和国家安全构成极大威胁；其次，大量研究表明，攻击者通过分析机器学习模型的输出结果，能够逆向推理出训练数据中个体的敏感信息。

传统的机器学习训练中，各方数据首先被数据收集者集中收集，然后由数据分析者进行模型训练，此模式称为集中学习(centralized learning)，其中，数据收集者与数据分析者可以是同一方，如移动应用开发者；也可以是多方，如开发者将数据共享给其他数据分析机构。可见集中学习模式下，用户一旦被收集数据，便很难再拥有对数据的控制权，其数据将被用于何处、如何使用也不得而知。近年来，一部分研究者尝试令各方数据保留在本地的同时训练全局模型，此工作的典型代表为2017年Google提出的联邦学习(federatedlearning)。具体来说，联邦学习系统中的多个联邦客户端在模型训练时不用给出己方数据，而是根据服务器端下发的全局模型参数和客户端的本地的数据集来训练本地模型，并返回本地模型参数供服务器端聚合更新全局模型参数，更新后的全局模型参数重新下发到客户端，以使客户端可以根据更新后的全局模型参数再次通过本地数据进行训练，多次重复执行“上传”“下发”的步骤，直至服务器确定训练好的机器学习模型满足收敛状态，从而可以完成联邦学习的训练过程。在实际应用中，客户端的本地数据和客户端的本地模型不会进行传输，本地数据也不会被反猜，联邦学习在较高程度保持数据完整性的同时，可以保护数据隐私。

由此可见，联邦学习在不需要共享本地数据到服务器的情况下，可以完成模型训练，达到传统集中学习训练的效果。然而，现有的联邦学习的训练方法无法保证客户端上传到服务器的模型参数是否安全。如果模型参数被除联邦学习系统之外的攻击者窃取，攻击者可以通过模型参数还原客户端本地数据或者根据模型参数重建本地模型。这在无形中给客户端带来很大的数据泄露风险。因此，如何提高联邦学习中数据的安全性是亟需解决的技术问题。

发明内容

本申请提供了一种数据处理方法、联邦学习的训练方法及相关装置、设备，在通过联邦学习系统对机器学习模型进行训练时，联邦学习系统中的每个终端可以通过与自身具有协同关系的协同终端来向服务器发送每个终端训练好的模型参数，从而可以提高服务器与终端之间数据交互的安全性。