[发明专利]一种基于动态调整模型聚合权重的联邦学习方法

说明书

本发明公开了一种基于动态调整模型聚合权重的联邦学习方法，所述方法包括：云端服务器从各客户端接收局部训练模型和数据质量指标，若达到客户端权重更新条件，则根据数据质量、模型精度和模型差异指标对模型训练精度的贡献为每个客户端计算贡献分数，并加权平均生成全局模型；云端服务器将更新后的全局模型下发给客户端，各个客户端接收到后在本地训练数据上进行模型训练，并在训练结束后再次上传局部模型和数据质量指标给云端服务器。本发明合理的运用数据分布、模型精度及模型差异等客户端训练数据，并生成动态的聚合权重，充分挖掘了客户端训练过程中可利用的特征，形成了更高质量的全局模型，从而提高了模型精度和收敛效率。

技术领域

本发明涉及分布式机器学习领域，尤其涉及一种基于动态调整模型聚合权重的联邦学习方法。

背景技术

随着数字化技术进入高速发展期，大数据和人工智能等技术迎来爆发式发展，这一方面为传统业态带来了升级变革的新机遇，另一方面不可避免地给数据和网络安全带来了全新的挑战。各个公司为了保证数据的安全性和隐私性，不愿共享数据，这使得各企业数据只能本地处理，导致数据孤岛问题，而数据孤岛使得各企业和研究者不能重复分析和挖掘数据特征，阻碍了大数据和人工智能的发展和应用。

为了解决数据孤岛问题，google研究院在2016年率先提出联邦学习。该技术可在数据不共享的情况下完成联合建模。具体来讲，各个数据拥有者的自有数据不会离开本地，通过联邦系统中加密机制下的参数交换方式(即在不违反数据隐私法规的情况下)联合建立一个全局的共享模型，建好的模型在各自的区域只为本地的目标服务。

由于客户端的地理、时间等分布差异，联邦学习经常要处理非独立同分布(nonIID)的数据,而训练数据的独立同分布采样对于确保随机梯度的无偏估计是很重要的，非独立同分布数据可能造成局部模型的参数分散并最终导致聚合模型的精度下降。为了应对非独立同分布数据挑战，有些研究者提出了联邦多任务学习和联邦元学习方法，它们的核心思想都是针对异构的本地数据训练个性化或特定于设备的模型，但是这种方法的异构性只能针对本地，不能为其他具备相似特征的客户端提供贡献，通用性较差。

发明内容

针对现有联邦学习方法无法提供通用性较好的异构数据解决思路的问题，本发明从模型训练信息入手，在不泄露用户隐私的前提下挖掘客户端的数据和模型特征，将模型精度、数据质量、模型差异三种维度训练信息量化表示，并利用三种量化指标共同建模，在此基础上为客户端动态设置聚合权重，以提高在非独立同分布数据场景下模型的精度和收敛速度。为了实现上述目标，本发明提出一种基于动态调整模型聚合权重的联邦学习方法，具体技术方案包括以下步骤：

(1)云端服务器从各客户端接收局部训练模型和数据质量指标，若达到客户端权重更新条件，则针对各局部训练模型计算模型精度指标和模型差异指标，然后根据数据质量指标、模型精度指标和模型差异指标对模型训练精度的贡献为每个客户端计算贡献分数，并根据所述贡献分数加权平均生成全局模型；

所述模型精度指标是指各客户端的局部模型测试精度；所述模型差异指标是指局部模型和全局模型的欧氏距离；所述数据质量指标是指表示客户端数据分布情况的Wasserstein距离；

(2)云端服务器将更新后的全局模型下发给各个客户端，客户端接收到新的全局模型后，在本地训练数据上进行模型训练，并在训练结束后上传局部模型和数据质量指标给云端服务器。

本发明与现有相比技术相比，其显著的有益效果在于：

本发明提供一种基于动态调整模型聚合权重的联邦学习方法，在保证用户数据隐私的前提下，实现联邦学习建模，解决了现有技术不能有效利用数据分布情况、模型精度以及模型差异等客户端训练相关信息来提高模型训练精度及模型收敛速度的问题，一定程度上解决了联邦学习中的数据异构问题，加速联合模型训练的收敛速度。