[发明专利]一种移动边缘网络中联邦学习的效率优化方法

说明书

本发明涉及一种移动边缘网络中联邦学习的效率优化方法，包括以下步骤：S1：首先增加任务的并行性，通过在每一轮选择多个设备参与联邦训练，以减少训练的轮数；S2：增加设备的计算量，在全局聚合更新之前，在每个设备上执行多次训练任务；S3：结合剪枝技术和压缩技术，基于通信效率的CE‑FedAvg算法对模型进行压缩，从而实现效率优化。该移动边缘网络中联邦学习的效率优化方法采用联邦学习把训练任务分散到每个移动设备上，通过云端协作与云边端协作的方式，结合MEC等边缘计算平台，将更多的计算卸载到边缘或设备端，以减少训练轮数，从而提高优化效率和优化的准确性。

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种移动边缘网络中联邦学习的效率优化方法。

背景技术

近年来，深度学习的发展为人工智能技术的进步创造了动力。随着物联网技术的发展，移动设备都具备强大的芯片、传感器以及计算能力，能够在处理高级任务的同时，收集和产生更丰富的数据。这些数据为深度学习的研究提供了有利的基础条件，是深度学习不可或缺的部分。传统以云为中心的深度学习，需要先收集移动设备的数据，包括物联网设备和智能手机收集的数据，例如照片、视频和位置等信息，并全部发送到基于云的服务器或数据中心进行处理与训练。然而，这种方法存在以下问题：在万物互联的时代，移动设备每分每秒都产生着数以亿计的数据，这些数据全部上传到云服务器会占用大量的网络带宽。同时，以云为中心的学习方式传输延迟高，不能及时进行数据交互，给网络带来不必要的负担。数据所有者对隐私越来越注重，用户往往不愿共享自己的个人数据。许多国家和组织也制定了相关隐私政策，例如欧盟委员会制定的“GeneralDataProtectionRegulation”(《通用数据保护条例》)。

因此，利用一些边缘设备的计算和存储能力，把计算推向边缘被提出作为一种解决方案。联邦学习应运而生，目的在于保护大数据环境下模型学习中涉及的用户数据隐私。在联邦学习训练过程中，只需要将所有移动设备在其私有数据上训练的本地模型上传到云服务器中进行聚合，不涉及数据本身，很大程度上提高了用户数据的隐私性。同时，边缘计算的提出是为了缓解云中心的计算压力，目的是把云服务中心的计算任务卸载到边缘，这恰好与联邦学习的计算模式相适应，为联邦学习创造了有利条件。在移动设备上训练模型，除了保证数据不离开本地，还能让计算更加靠近数据源以节省通信成本。

发明内容

本发明的目的在于提供一种移动边缘网络中联邦学习的效率优化方法，实现减少了服务器到设备的通信时间，节约了本地计算资源以及模型上传时产生的通信延迟。

为解决上述问题，本发明采用的技术方案为：该移动边缘网络中联邦学习的效率优化方法，包括以下步骤：

S1：首先增加任务的并行性，通过在每一轮选择多个设备参与联邦训练，以减少训练的轮数；

S2：增加设备的计算量，在全局聚合更新之前，在每个设备上执行多次训练任务；

S3：结合剪枝技术和压缩技术，基于通信效率的CE-FedAvg算法对模型进行压缩，从而实现效率优化。

采用上述技术方案，采用联邦学习把训练任务分散到每个移动设备上，通过云端协作与云边端协作的方式，结合MEC等边缘计算平台，将更多的计算卸载到边缘或设备端，以减少训练轮数，从而提高优化效率和优化的准确性。

作为本发明的优选技术方案，所述步骤S1的具体步骤为：

S11：采用FedAvg算法对根据联邦学习的规则训练的本地模型的参数进行平均处理；具体为，首先定义联邦学习的优化问题为：

其中f(w)为损失函数，w为模型参数，K代表参加训练的设备数量，数据样本总量为D，pk代表设备k拥有的数据集，其大小为Dk＝|pk|，i代表数据集中的数据；