[发明专利]基于夏普利值的联邦学习移动设备分布数据处理方法

权利要求书

1.一种基于夏普利值的联邦学习移动设备分布数据处理方法，其特征在于，将多个移动设备构建联邦学习集群，在联邦学习的每一轮中，中心节点应用Monte-Carlo采样方法估计各个联邦学习移动设备当前的联邦夏普利值，并将其在全局模型参数相对于初始参数的变化方向上的投影作为其对模型的重要性与贡献度，并基于联邦夏普利值选择联邦学习移动设备参与本轮的模型训练能够有效加快模型收敛速度，提升模型最终的精度。

2.根据权利要求1所述的基于夏普利值的联邦学习移动设备分布数据处理方法，其特征是，所述的夏普利值为：其中：为联邦学习移动设备k在第t轮的联邦夏普利值；C为所有联邦学习移动设备的集合；S为移动设备子集；为只有移动设备子集S参与到联邦学习训练过程时，全局模型在第t轮的参数，其值需要通过重新训练模型得到。

3.根据权利要求1所述的基于夏普利值的联邦学习移动设备分布数据处理方法，其特征是，所述的联邦夏普利值，通过以下方式估计得到：其中：为联邦学习移动设备k在第t轮的联邦夏普利值；C为所有联邦学习移动设备的集合；S和Q表示联邦学习移动设备子集；为只有联邦学习移动设备子集S参与到联邦学习训练过程时，全局模型在第t轮的参数；表示在训练过程中从总联邦学习移动设备集合C移除设备子集Q后，模型在第t轮的参数变化。其值可以通过本发明的估计方法得到：其中：C_t为当前参与模型训练的移动设备集合；n_k为第k个联邦学习移动设备的数据集大小；N(C_t\Q)为设备子集C_t\Q的总数据集大小；m为移动设备本地更新模型的次数；I为单位矩阵；η为学习率；表示当模型参数为时，模型在设备k的数据集D_k上的损失函数；为第t轮联邦学习过程中移动设备k在本地数据集上更新i次后的模型；表示只在第t轮将联邦学习移动设备子集Q移除后全局模型的参数。因为联邦夏普利值的计算需要遍历移动设备集合C的每一个子集，用Monte-Carlo采样方法来估计可以得到时间复杂度更低的估计方法。

4.根据权利要求1所述的基于夏普利值的联邦学习移动设备分布数据处理方法，其特征是，所述的Monte-Carlo采样是指：随机选取包含所有联邦学习移动的多个排列，按照顺序计算每一个排列当中每个联邦学习移动对排列中位于其之前的移动设备集合的边际贡献。最后对每个联邦学习移动设备的边际贡献求取平均值即为每个设备的重要性，即移动设备选择的标准。

5.根据权利要求1所述的基于夏普利值的联邦学习移动设备分布数据处理方法，其特征是，所述的边际贡献是指：将此联邦学习移动设备加入训练后全局模型参数的变化。

6.根据权利要求1所述的基于夏普利值的联邦学习移动设备分布数据处理方法，其特征是，所述的联邦学习移动设备选择算法，基于博弈论的经典概念夏普利值(ShapleyValue)，具有与之类似的三条公平性定理：当设备k的数据集对于模型性能没有影响，则其价值为0；当对于两个设备k₁,k₂，将其数据集分别添加到任意子集后模型性能相同，则k₁和k₂具有相同的价值；任意多种评估方法得到的数据集价值等于这些评估方法结合在一起得到的数据集价值。

7.根据权利要求1所述的基于夏普利值的联邦学习移动设备分布数据处理方法，其特征是，所述的模型训练，具体包括：1)中心节点下发全局模型给被选中的联邦学习移动设备；2)联邦学习移动设备根据本地数据样本更新模型，并将更新后的模型参数上传给中心节点；3)中心节点聚合各个联邦学习移动设备上传的模型参数为新一轮的全局模型。