[发明专利]一种基于联合双维度用户调度的自适应联邦边缘学习方法

说明书

本发明提供一种基于联合双维度用户调度的自适应联邦边缘学习方法，包括：基于损失函数和训练周期，获取模型训练的评估效率；基于所述评估效率，获取批量数据，基于所述批量数据，获取训练后的初始模型；对所述初始模型进行筛选，获取最终训练后的模型。本发明能够进一步提高联邦学习方法的准确率和效率。

技术领域

本发明属于人工智能技术领域，尤其涉及一种基于联合双维度用户调度的自适应联邦边缘学习方法。

背景技术

随着移动通信和物联网的发展，智能手机和物联网传感器等设备产生的数据量呈爆炸式增长的趋势。机器学习模型需要大量丰富的数据集来进行训练。一方面，传统集中式的机器学习算法，需要将大量数据上传至中心节点，大规模的数据传输将导致较大的传输时间和拥塞。另一方面，传统分布式机器学习算法要求训练数据集进行集中上传，统一划分后再分配到多个工作节点，容易造成隐私泄露。

联邦边缘学习(Federated Edge Learning,FEL)的提出为上述问题提供了解决方案。在FEL中，模型训练是在边缘设备上执行的，并配有多路访问边缘计算中心服务器。FEL通过以下两个步骤实现迭代更新：1)局部模型训练：智能边缘设备利用本地数据集训练局部模型后上传模型参数至中心服务器。2)全局模型聚合：中心服务器聚合本地上传的局部模型参数形成全局模型后进行更新，然后将更新后的模型下发给智能边缘设备开始新一轮迭代。与传统的集中式和分布式机器学习算法相比，FEL的迭代训练过程无需智能边缘设备上传本地数据，因此对于数据的隐私保护更具潜力。

然而，智能边缘设备的计算能力和本地数据集异构以及不平衡对全局模型的收敛速度和全局模型精度提出了严峻挑战。近年来，已有相关工作对FEL的迭代过程进行了优化研究。现有研究大多采用随机梯度下降算法(Stochastic Gradient Descent,SGD)进行局部模型训练。文献通过信息编码设计提高联邦学习中的冗余率，以减小基于局部模型训练时间较长设备造成的影响。

然而上述研究均没有考虑由于智能设备计算能力和数据集异构造成的训练完成时间差异，等待所有边缘设备完成局部模型训练将延迟全局模型聚合进程。此外，鉴于设备收集的数据取决于本地环境和设备的自身属性，数据集通常较为庞大，并且数据分布并不平衡。本地的数据集因设备而异，呈现出不均匀的分布状态，需要考虑不同设备的数据属性来进行设备调度。因此，需要设计一种兼顾设备计算能力、数据集分布特性的方法，来增强算法的模型训练精度和收敛速度。

梯度下降算法中，每次迭代都需要对整个数据集上样本的梯度进行计算，当数据集样本数量较大时，每次迭代都会耗费大量的时间和计算资源。公式如下：

其中，w_t表示第t次迭代的模型参数，表示损失函数在w_t处的梯度。η表示学习率，学习率可以表示在梯度下降过程中，整个损失函数在梯度负方向上移动的距离。

随机梯度下降每次仅选择一个样本计算随机梯度，因此每次梯度更新时间大大减小。公式如下：

但是一个样本的随机梯度并不能代表整个数据集的梯度，因此随机梯度下降法并不是每次迭代都沿着全梯度的负方向进行，收敛过程相对较为抖动。由于单个样本的随机梯度和所有样本的全梯度相差较大，所以使用随机梯度下降算法，收敛所需的迭代次数大大增加。

介于梯度下降和随机梯度下降算法的折中就是小批量梯度下降算法。该算法每次选取一部分样本的梯度更新模型参数，更新公式如下：

其中ξ_t表示第t次迭代时选取的一个批量的随机样本，假设批量大小为m，则可得：