[发明专利]一种基于训练阶段感知策略的联邦学习训练方法

说明书

本发明提供了一种基于训练阶段感知策略的联邦学习训练方法，包括：S1各个客户端将其机器学习模型参数更新值以及损失函数更新值发送给服务器端；S2服务器端按照聚合参数C聚合最先传送到的C部分客户端的更新，并设置计时器衡量客户端性能以及识别离线客户端；S3服务器端根据聚合后的数据进行模型参数更新,根据损失函数更新值感知系统所处的训练阶段，结合训练进程和性能信息调整下一轮计算所需使用的本地计算周期和聚合部分；S4更新本地机器学习模型参数以及本地运行参数，并开始新一轮计算直到收敛。本发明采用可动态调整的参数设置以适配不同的联邦学习场景，充分发挥系统性能解决通信同步瓶颈。

技术领域

本发明属于联邦学习分布式训练技术领域，具体涉及到一种基于训练阶段感知策略的联邦学习训练方法。

背景技术

现实应用场景下往往存在数据量少，数据质量差，需要保护数据隐私等一系列数据孤岛问题限制人工智能应用的部署和落地。为解决这些数据孤岛问题，以关注在现实分布式场景下不同客户数据交换的联邦学习应运而生。

目前，联邦学习多采用联邦平均方法(FedAvg)统筹各个客户端的本地计算与数据交换。在联邦平均方法中以下步骤周期式运行直到问题收敛：各个客户端节点分布式进行E周期的本地计算后对中心服务器进行模型参数通信；而中心服务器定期收集C部分的客户端节点参数后向客户端传回聚合后模型参数；收到服务器回传模型参数后客户端更新本地参数并进行新一轮训练。可以看出联邦平均方法具有以下特点：传输模型参数而非本地数据保护客户端隐私；采用周期式数据传输和聚合计算克服数据孤岛问题；设置本地计算周期E和聚合部分C应对性能异构的不同客户端所产生的通信和同步问题。

其中，联邦平均方法所设置的本地计算周期E和聚合参数C的设置与训练性能直接相关：调大本地计算周期E使各个客户端进行更多轮数的本地计算，从而降低通信频率以缓解通信开销加速数据交换过程，但也降低了参数聚合频率使得计算更易受到数据孤岛问题的影响减慢收敛过程；同样地，调小聚合参数C使客户端只需聚合少量数据从而减少同步等待开销加速数据交换过程，但少量的聚合数据更易产生误差从而减慢收敛过程。虽然联邦平均方法在联邦学习训练部署中取得了不凡的效果，但其依赖于上述参数设置的特性使其性能依然受到了现实复杂场景的限制。首先，为解决参数通信和同步问题，调试良好的本地计算周期E和聚合部分C需要花费大量的资源，而且由于缺少衡量性能的效用函数导致调试无法使用现有的超参数调整方法；其次，不同的模型在不同的训练周期参数收敛表现不一致，固定模式的联邦平均方法无法适配这一周期差异性；最后，在实际部署中，服务器端以及不同客户端的计算和传输会发生性能波动使结果难以预测，采用静态设置的本地计算周期E和聚合部分C性能表现不佳。

发明内容

不同于传统计算，采用机器学习的人工智能问题多具有训练阶段不均匀收敛的特性，其具体表现为，在训练初始阶段，目标函数损失值较大导致训练对收敛误差敏感，应以维护收敛过程为目标进行训练，即快速收敛阶段；而在训练结束阶段，目标函数损失值较小导致训练对数据异构误差敏感，应以维护数据交换过程为目标进行训练，即慢速收敛阶段。受到这一不均匀特性的启发，为了解决联邦平均方法的上述问题，本发明提供了一种基于训练阶段感知策略的联邦学习训练方法。本方法在服务器端通过收集时间信息和损失函数信息，结合人工智能问题的收敛特性感知当前的训练阶段和系统性能以实现动态调配不同客户端的本地训练和服务器端的聚合部分以实现最优整体性能。

为实现上述目的，本发明采用以下技术方案：

一种基于训练阶段感知策略的联邦学习训练方法，包括如下步骤：

S1客户端计算，客户端i按照本地运行参数运行Eⁱ个本地计算周期，随后将其机器学习模型参数更新值以及损失函数更新值发送给服务器端，在首次计算时所有客户端均需要进行以上操作；