[发明专利]基于夏普利值的联邦学习移动设备分布数据处理方法

说明书

一种基于夏普利值的联邦学习移动设备分布数据处理方法，将多个移动设备构建联邦学习集群，在联邦学习的每一轮中，中心节点应用Monte‑Carlo采样方法估计各个联邦学习移动设备当前的联邦夏普利值，并将其在全局模型参数相对于初始参数的变化方向上的投影作为其对模型的重要性与贡献度，并基于联邦夏普利值选择联邦学习移动设备参与本轮的模型训练能够有效加快模型收敛速度，提升模型最终的精度。本发明能够衡量各个移动终端的数据集对模型训练过程的影响，从而在每轮选择高贡献度的设备参与训练，减少数据通信开销，加快收敛速度，提升模型表现。

技术领域

本发明涉及的是一种分布式数据处理领域的技术，具体是一种基于联邦学习(Federated Learning)和夏普利值(Shapley Value)的移动设备分布数据处理方法。

背景技术

随着移动网络的不断发展，不同网络层的设备实时产生的数据量越来越大，格式越来越复杂，需要人工智能模型来自动地管理整个网络。传统的模型训练方法要求一个中心服务器从各个移动设备采集数据，然后集中式地训练模型。但是，传输大量数据会带来高昂的通信开销，并且上传用户数据会侵犯移动设备的隐私。

联邦学习框架作为一种分布式的机器学习方法被提出来解决上述问题，在每轮训练中，移动设备上传模型更新而非用户数据，在减小通信开销的同时避免了客户私密数据的泄露。受到中心服务器通信带宽和计算资源的限制，在每一轮的联邦学习过程中，仅有部分移动设备能够被中心服务器选中参与到模型的训练过程，极大地限制了每次模型更新所涉及的训练数据量，从而降低了模型的收敛速度和最终性能。

许多工作证明了不同训练数据样本对于模型训练的重要程度也是不同的，仅挑选部分重要的样本参与训练能够在减少训练时长的同时保证模型的最终精度。已有一些工作提出了集中式学习场景下的训练数据选择方法，包括基于LOO(Leave-one-out)的方法，基于影响函数 (Influence Function)的方法和基于数据夏普利值(Data Shapley)的方法。相比于前两种方法，以夏普利值作为选择的标准具有三条令人满意的性质：有效性(Efficiency)、对称性(Symmetry) 和可加性(Additivity)，所以被广泛地认为是最公平合理的选择方法。

发明内容

本发明针对现有移动设备的算力资源和模型表现无直接关联、没有考虑移动设备的数据特点和当前中心节点的模型，仅凭借算力选择移动设备，无法从理论上加快模型收敛、提升模型精度的缺陷，提出一种基于夏普利值的联邦学习移动设备分布数据处理方法，将夏普利值更为合理地应用于联邦学习来解决移动设备的选择问题；提出联邦夏普利值的估计方法来避免指数次的模型重复训练，并结合传统的Monte-Carlo采样方法进一步度简化夏普利值的计算复杂度，从而能够衡量各个移动终端的数据集对模型训练过程的影响，从而在每轮选择高贡献度的设备参与训练，减少数据通信开销，加快收敛速度，提升模型表现。

本发明是通过以下技术方案实现的：

本发明涉及一种基于夏普利值的联邦学习移动设备分布数据处理方法，将多个移动设备构建联邦学习集群，在联邦学习的每一轮中，中心节点应用Monte-Carlo采样方法估计各个联邦学习移动设备当前的联邦夏普利值(Fed-Shapley)，并将其在全局模型参数相对于初始参数的变化方向上的投影作为其对模型的重要性与贡献度，并基于联邦夏普利值选择联邦学习移动设备参与本轮的模型训练能够有效加快模型收敛速度，提升模型最终的精度。

所述的夏普利值为：其中：为联邦学习移动设备k在第t轮的联邦夏普利值；C为所有联邦学习移动设备的集合；S为移动设备子集；为只有移动设备子集S参与到联邦学习训练过程时，全局模型在第t轮的参数，其值需要通过重新训练模型得到。