[发明专利]联邦学习网络中联合优化量化水平与客户端选择的方法

权利要求书

1.一种能量采集式联邦学习网络中联合优化量化水平与客户端选择的方法，其特征在于，包括如下步骤：

1)构建携带有能量采集模块的联邦学习网络模型；

2)将联邦学习网络训练损失问题等价替代为当前和最优权重模型的期望距离问题；

3)对局部权重向量做权重差分处理，采用广义量化的方法量化差分权重，并探究权重差分对量化最优速率的影响；

4)对于第t+1轮更新模型，选择K个客户端进行训练，基于量化算法，将更新后的局部权重向量差分量化，得到新一轮全局权重向量；

5)在最小化能量因果性约束下，对量化水平、客户端选择进行优化，构造成非凸的混合整数非线性优化问题；

6)最后，将其转化为凸优化问题，可基于MINLP求解器对其进行求解。

2.根据权利要求1所述的一种能量采集式联邦学习网络中联合优化量化水平与客户端的选择方法，其特征在于，在步骤1中，构建联邦学习网络模型：

其中，f(ω)表示联邦学习中的全局损失函数，M表示客户端数量，F_m(ω)表示客户端m的损失函数。

3.根据权利要求1所述的一种能量采集式联邦学习网络中联合优化量化水平与客户端的选择方法，其特征在于，在步骤2中，将联邦学习网络训练损失问题等价为当前和最优权重模型的期望距离问题的方式为：

其中F(ω_T)表示为经过T轮全局训练后的损失，F^*表示全局权重下的最优损失，ω_T表示经过T轮后的全局权重，ω^*表示最优全局权重。

4.根据权利要求1所述的一种能量采集式联邦学习网络中联合优化量化水平与客户端的选择方法，其特征在于，在步骤3中，采用广义量化的方法量化差分权重，该方法满足无偏性，量化误差以比特数B的函数为界两个条件：

其中Q(ω)表示量化方法，表示量化比特数的函数，为递减凸函数。

5.根据权利要求4所述的一种能量采集式联邦学习网络中联合优化量化水平与客户端的选择方法，其特征在于，在步骤3中，基于损失函数l(ω,ξ)L-光滑，μ-强凸，客户端随机梯度无偏及有界，可以得到：

其中,表示第t+1轮学习率，E表示选中的客户端局部迭代次数，H表示客户端随机梯度下降的上界，表示客户端随机梯度方差上界，Γ表示数据集的异构程度。

6.根据权利要求5所述的一种能量采集式联邦学习网络中联合优化量化水平与客户端的选择方法，其特征在于，在步骤3中，对于第t轮，我们将学习率设置为则具有量化的联邦学习的边界满足：

其中2(E-1)²EH²,E表示选中的客户端局部迭代次数，H表示客户端随机梯度下降的上界，表示客户端随机梯度方差上界，Γ表示数据集的异构程度；

如果权重被差分量化，联邦学习可以覆盖到的全局最优速率，且只要满足基于损失函数l(ω,ξ)L-光滑，μ-强凸，客户端随机梯度无偏及有界，不同轮次的量化水平可以任意选择。

7.根据权利要求1所述的一种能量采集式联邦学习网络中联合优化量化水平与客户端的选择方法，其特征在于，在步骤4中，更新权重向量的方式为：

初始化选择客户端，I_m,t表示客户的参与度，I_m,t＝1表示在第t轮选择客户m∈{1,…,M}进行训练。由于在每轮中只选择了K个客户端，所以我们必须有:

此外，为保证选择的无偏性，设定每个客户端参与训练的次数相同，即:

8.根据权利要求7所述的一种能量采集式联邦学习网络中联合优化量化水平与客户端的选择方法，其特征在于，在步骤4中，中心参数服务器广播给本轮选到的客户端，客户端进行局部更新。