[发明专利]联邦学习的全局及局部梯度处理方法、装置、设备和介质

说明书

本发明涉及信息技术领域，公开了一种联邦学习的全局及局部梯度处理方法、装置、设备和介质，该方法包括：接收预设时频块上传输的第n次迭代训练的聚合信号，聚合信号为联邦学习中多个边缘设备同时通过预设时频块发送局部梯度时叠加产生的；根据聚合信号和联邦学习中边缘设备的数量，获取联邦学习第n次迭代训练的全局梯度；广播全局梯度，以便于多个边缘设备根据第n次迭代训练的全局梯度对本地模型进行再次更新。本发明中多个边缘设备可以同时通过预设时频块发送局部梯度，使得边缘服务器可以直接采用该聚合信号与联邦学习中边缘设备的数量获取全局梯度进行广播，简化了边缘服务器获取全局梯度的步骤，保证了极低的聚合延迟。

技术领域

本发明涉及信息技术领域，尤其涉及一种联邦学习的全局及局部梯度处理方法、装置、设备和介质。

背景技术

联邦学习能够在边缘设备不进行原始数据共享的情况下，充分挖掘边缘网络蕴藏的分布式计算存储能力，进行高效的模型训练，凭借其用户隐私和数据安全方面具有的独特优势，获得了非常广泛的应用。

相关技术中，在进行联邦学习时，各边缘设备在边缘服务器的协调下，利用本地数据联合训练共享的机器学习模型。具体的，可以基于分布式梯度下降法进行迭代训练，在每一次迭代中，不同边缘设备根据各自的本地数据，更新局部模型的参数，并通过无线信道将各自的局部模型的梯度上传至边缘服务器。边缘服务器对各个边缘设备上传的梯度进行汇总后获取全局梯度，然后广播该全局梯度，以便于各个边缘设备根据该全局梯度更新局部模型再次进行训练。上述步骤迭代进行，直至全局模型参数收敛。

然而，传统的联邦学习中边缘设备与边缘服务器采用多址接入方法(如正交频分复用，时分多址接入等)进行无线通信，即各个边缘设备独立的将局部模型的梯度方发送至边缘服务器，边缘服务器在接收到各个边缘设备上传的梯度还需要进行汇总处理。当边缘设备数目很大以及训练迭代次数很多的情况下，将带来巨大的无线通信资源开销，进而导致模型训练的效率较低。

发明内容

为了解决相关技术中存在的问题，本公开实施例提供一种联邦学习的全局及局部梯度处理方法、装置、设备和介质。

第一方面，本公开实施例提供的一种联邦学习的全局梯度处理方法。

具体地，所述联邦学习的全局梯度处理方法，应用于边缘服务器，包括：

接收预设时频块上传输的第n次迭代训练的聚合信号，所述聚合信号为联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的，所述局部梯度为边缘设备根据所述边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型后得到的；其中，所述n为大于或等于2的整数；

根据所述聚合信号和所述联邦学习中边缘设备的数量，获取所述联邦学习第n次迭代训练的全局梯度；

广播所述全局梯度，以便于所述多个边缘设备根据所述第n次迭代训练的全局梯度对本地模型进行再次更新。

可选地，所述聚合信号为

且

所述第n次迭代训练的全局梯度为

其中，表示第n次迭代训练中边缘设备k到边缘服务器的复数信道系数；为第n次迭代训练中边缘设备k的传输功率；第n次迭代训练中边缘设备k的局部梯度；z⁽ⁿ⁾为加性高斯白噪声，服从z⁽ⁿ⁾～CN(0,N₀I)；N₀为噪声功率密度，I为单位矩阵；为边缘设备k的本地数据集，x_i和y_i为第i个样本的真实标签；f_i(w⁽ⁿ⁾)表示联邦学习模型w在样本x_i对于其标签y_i的预测误差的逐样本损失函数；R(w)为强凸正则化函数；超参数ρ≥0为缩放因子；n≤N，k≤K，N为总的迭代次数，K为联邦学习中边缘设备的总数量。