[发明专利]一种基于训练阶段感知策略的联邦学习训练方法

权利要求书

1.一种基于训练阶段感知策略的联邦学习训练方法，其特征在于，包括如下步骤：

S1客户端计算，客户端i按照本地运行参数运行Eⁱ个本地计算周期，随后将其机器学习模型参数更新值以及损失函数更新值发送给服务器端，在首次计算时所有客户端均需要进行以上操作；

S2服务器端聚合，服务器端按照聚合参数C聚合即进行聚合的客户端数量为C，对于最先传送到的C部分客户端j，j∈C，服务器聚合其和至服务器端模型参数更新值Δ_grad和服务器端损失函数更新值Δ_loss中，同时服务器端设置计时器衡量各个客户端的性能信息以及识别离线客户端；

S3服务器端更新，服务器端采用联邦学习中服务器端模型优化算法根据聚合后的服务器端模型参数更新值Δ_grad更新服务器端机器学习模型参数随后根据服务器端损失函数值判断是否收敛，即对于一个设置好的收敛判定值∈，满足服务器端损失函数值随后根据整体训练进程D判断系统整体位于快速收敛阶段或慢速收敛阶段，并结合参与聚合的C部分客户端j的性能信息t^j调整C部分客户端对应的本地运行参数E^j和服务器端使用的聚合参数C；

S4客户端更新，服务器端向所有参与聚合的客户端发送信息，所有参与聚合的客户端j，j∈C，更新本地机器学习模型参数w^j为服务器端机器学习模型参数即箭头表示赋值，以及更新本地运行参数为服务器端调整后的E^j，若在S3中服务器端判断为未收敛则所有参与聚合的客户端均跳转至S1开始新一轮计算即对所有参与聚合的客户端j，j∈C，令i←j采用更新和调整后的w^j与E^j运行本地计算，未参与聚合的客户端则保持等待。

2.根据权利要求1所述的一种基于训练阶段感知策略的联邦学习训练方法，其特征在于，所述步骤S1包括如下步骤：

S10客户端i与服务器通信并进行初始化；

S11客户端i根据本地机器学习模型参数wⁱ进行Eⁱ次计算；

S12客户端i向服务器端传输机器学习模型参数更新和损失函数值更新随后进入等待状态等待服务器端回传数据，仅在首次计算时对所有客户端进行以上操作，非首次操作时只需执行步骤S11、S12。

3.根据权利要求2所述的一种基于训练阶段感知策略的联邦学习训练方法，其特征在于，所述步骤S10包括如下步骤：

S101服务器端进行参数初始化：服务器端机器学习模型参数初始化为初始损失函数值服务器端损失函数更新值Δ_loss＝0，服务器端学习率为η，设M为客户端的数目，服务器端模型参数更新值Δ_grad＝0，整体训练进程值其中∈为收敛判定值，聚合参数C＝M,此外服务器端为每个客户端i设置计时器；

S102客户端i收到服务器端机器学习模型参数初始化本地机器学习模型参数并初始化下列参数：本地计算参数Eⁱ＝1，本地学习率ηⁱ＝η₀，η₀为初始学习率，机器学习模型参数更新值损失函数值更新值训练进程值Dⁱ＝0。

4.根据权利要求2所述的一种基于训练阶段感知策略的联邦学习训练方法，其特征在于，所述步骤S11包括如下步骤：

每次客户端从本地数据集中随机采样一批数据ξⁱ，随后根据损失函数F(wⁱ)以及依靠ξⁱ计算出来的梯度运行机器学习模型优化算法包括随机梯度下降法SGD，自适应梯度法Adam，Adagrad；SGD步骤如下：

S111记录本地计算更新:

Y为客户端模型优化算法；

S112损失函数更新：

S113优化模型参数：

将上述过程重复Eⁱ次。