[发明专利]一种云边端协同联邦学习智能优化方法及装置

说明书

本发明公开一种云边端协同联邦学习智能优化方法及装置，涉及人工智能领域。本发明方法通过轻量级训练器合理构建基于云边端的联邦学习框架拓扑结构，并基于模型参数、训练时间、训练功耗、通讯时间构建本轮环境的状态，通过智能体决策模型生成包括边缘聚合频率和终端训练轮次数的动作，边缘和终端设备按照该动作进行训练，同时采集信息构成下一轮状态，联邦学习框架和决策模型不断交互产生大量决策轨迹信息，用于决策模型的更新直至模型收敛，训练好的智能体决策模型能够根据每个设备的计算速度、训练功耗、通信时间分配不同的联邦学习训练轮次数，进而达到平衡计算异构与数据异构以及减少能耗开销的目的。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种云边端协同联邦学习智能优化方法。

背景技术

随着当下芯片算力的不断提升以及人工智能技术发展，导致当下模型愈发复杂和庞大，利用传统的算力设备进行计算耗时且占用资源能耗，并且对于集中式学习来说，用户的数据需要上传给服务器，这一点违背了隐私协议。联邦学习是在大数据时代随着人工智能发展而兴起的一种模型训练机制，利用联邦学习，用户不必将数据进行上传操作，只需要中央服务器将需要训练的模型下发给每个客户端，客户端在本地进行训练，最后将训练好的模型上传到中央服务器中进行模型的聚合操作。该方式在打破数据孤岛的前提之下，起到了隐私保护的作用，同时充分利用了边缘设备的算力，因此近年得到了广泛的使用和普及。

然而联邦学习也面临着许多问题，其中异质性是联邦学习问题中普遍存在的问题。异质性主要分为两种：一是设备计算资源的异质性，二是训练数据的异质性。实际生活中进行联邦学习训练的设备算力各不相同，可能是电脑、手机或者其他边缘设备，所以在计算速度上存在显著差异，并且即使是相同设备，同一时间其后台所运行的程序也可能各不相同，从而导致每个设备因为其他程序占用的资源具有一定差异，因此不同的设备具有不同的训练时间，训练快的设备会受到训练速度慢的设备影响，从而产生“掉队者效应”。与此同时终端设备大多有着有限的网络带宽和电池电量，不同负载下的设备功耗各不相同，如果设备统一设定训练次数除了造成额外的时间开销，也会造成一定的能耗开销。训练数据的异质性包括数据量和数据分布的异质性，由于不同的设备所获取的信息各不相同，所以每个终端设备下数据的个数以及数据的分布各不相同，在传统联邦学习的算法下容易造成训练模型的偏移，从而导致训练速度减缓和收敛界下降的问题。

为了解决传统联邦学习中设备与云频繁聚合造成的高通信时延问题，一种基于云边端的联邦学习框架曾被提出并广泛使用。与传统联邦学习不同的是，该框架在云和设备之间引入了边缘设备，多个终端设备和一个边缘设备组成子网进行联邦学习的训练，而多个边缘设备与云联通进行模型的聚合。其中边缘与终端通信的子网内的时延要比边缘与云端通信的时延低很多，故利用该框架可以很好地解决传统联邦学习过程中频繁的云通信开销问题。基于上述联邦学习框架，如何正确地分配边缘与终端设备的训练轮次数，是解决异质性问题的关键所在，并且在保证联邦学习总精度的前提下，尽可能减小能耗等预算开销，也是联邦学习重要的研究方向。

针对上述问题，基于数据驱动建模的方法其精度和训练效率都较高，且边缘和终端设备的数据易于采集，将数据驱动的思想应用在边缘计算领域能够有效分析积累的训练数据，提取相关信息用于指导联邦学习的训练过程。深度强化学习便是数据驱动建模的有效方法之一，其利用计算机与环境进行自动交互，可以从交互信息中学习动作策略，十分适用于难以建立数学模型的场景。近年随着算力的不断提升，深度强化学习也得到了充分的发展，在机器人控制、无人驾驶、电脑游戏等多个领域有着十分出色的表现。