[发明专利]一种移动边缘网络中联邦学习的效率优化方法

权利要求书

1.一种移动边缘网络中联邦学习的效率优化方法，其特征在于，包括以下步骤：

S1：首先增加任务的并行性，通过在每一轮选择多个设备参与联邦训练，以减少训练的轮数；

S2：增加设备的计算量，在全局聚合更新之前，在每个设备上执行多次训练任务；

S3：结合剪枝技术和压缩技术，进行模型压缩，从而实现效率优化。

2.根据权利要求1所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S1的具体步骤为：

S11：采用FedAvg算法对根据联邦学习的规则训练的本地模型的参数进行平均处理，具体为，定义联邦学习的优化问题为：

其中f(w)为损失函数，w为模型参数，K代表参加训练的设备数量，数据样本总量为D，pk代表设备k拥有的数据集，其大小为Dk＝|pk|，i代表数据集中的数据；

S12：首先分析SGD优化方法，并将其直接应用于联邦学习，即每一轮训练在设备上进行一次梯度计算，则对于每个设备k有：

其中，t表示当前联邦学习的训练轮数，η为学习率。

3.根据权利要求2所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S2具体包括以下步骤：

S21：采用FedAvg算法将本地模型的一次梯度计算改变为多次梯度计算，即对设备k进行多次本地训练，如公式(5)所示：

其中，w为模型参数，η为学习率，k为设备。

S22：设置设备训练参数，增加端设备的计算量，将模型剪枝与联邦学习相结合，并将模型训练和剪枝同时反复进行，获得小于1024千字节的模型。

4.根据权利要求3所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S3的具体步骤为：

S31通合均匀量化：对不同数量的设备设置IID数据与non-IID数据，并测试设备的参与率和压缩率；

S32指数量化：在FedAvg算法的基础上加入压缩与量化，从而减少联邦学习传输过程中的通信消耗。

5.根据权利要求3所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S22中采用双流联邦学习模型进行训练，以增加端设备的计算量，具体包括以下步骤：

S221：设置设备训练参数包括输入和输出，其中输入的设备数量设为K，每一轮选择设备的选择比例设为C，设备训练的本地数据批量大小设为B，设备上本地迭代的次数设为E，学习率为η；输出的模型参数设为w；

S222：服务端的处理，包括：

S2221：初始化全局模型w0；

S2222：确定需要选择设备的数量m←max(C×K，1)；

S2223：服务器随机选择m个设备并下发全局模型；

S2224：设备k＝0,1,2,…,m本地训练得到

S2225：利用公式(4)进行全局聚合；

S2226：重复步骤S2222～S2225直到模型w收敛，其中t为轮数；

S223：服务端的处理，包括：

S2231：将本地数据集pk划分为大小为B的样本批量；

S2232：对于B中的样本用公式(5)进行权值更新；

S2233：重复E次步骤S2232；

S2234：将训练好的本地模型w发送到服务端。

6.根据权利要求3所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S22中模型剪枝包括在在服务器上对初始模型剪枝和在设备上对本地模型的剪枝，在服务器上对初始模型进行剪枝后，再对对聚合后的全局模型进行剪枝以删除小于0.1的权重值，反复循环直到全局模型的大小达到所需的修剪水平，获得小于1024千字节的模型。