[发明专利]一种云边端协同个性化联邦学习方法、系统、设备及介质

说明书

本发明公开了一种云边端协同个性化联邦学习方法、系统、设备及介质，本方法通过获取多个客户端的终端设备产生的数据样本和所有客户端构成的图结构；获取数据样本的特征矩阵表示和邻接矩阵表示，获得数据样本的特征张量和邻接张量；根据邻接张量和特征张量，对多个客户端的终端设备进行聚类，获得多组客户端终端设备；构建云边端协同个性化联邦学习的目标函数和特征图，并根据目标函数和特征图，对每组客户端终端设备进行个性化模型训练，更新每组客户端终端设备的个性化模型的参数；根据个性化模型的参数、特征图和图结构，通过图卷积神经网络进行聚合，获得每个客户端的全局模型和个性化模型。本发明能够有效提升模型的推理精确度和训练速度。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种云边端协同个性化联邦学习方法、系统、设备及介质。

背景技术

近年来，联邦学习在工业界和学术界发展非常迅猛，它是一种分布式机器学习范式，在保护用户隐私安全的前提下通过联合多个参与方实现共同建模。在当前流行的联邦学习框架中，参与训练的客户端可以从移动边缘设备到大型企业组织，它们将原始训练数据存在终端设备中。在中央参数服务器的协调下，各个客户端互相协作进行模型训练。每个训练参与方将本地训练的模型参数上传到中心服务器，中心服务器通过聚合各个用户的模型参数更新，然后将聚合更新后的全局模型下发给每个训练参与方。联邦学习的目标是训练一个在大多数客户端上表现良好的全局模型，实现用户之间的知识共享。

当前主流的联邦学习侧重训练模型的通用性能，然而由于用户数据不平衡和非IID（Independent and identically distributed）分布，导致在特定客户端场景下的个性化性能不佳。现有的联邦学习方法在non-IID（非IID）数据上学习时，一般收敛性较差而且单一的全局模型无法适用差异明显的客户端分布情况。现有的个性化FL（联邦学习）方法一般通过训练一个性能较好的全局模型，然后再在每个客户端上进行本地个性化处理。现阶段，很多联邦优化算法在缓解non-IID数据问题过程中间会增加大量通信成本，同时无法有效提升模型性能。

在联邦学习环境下，不同客户端中局部数据集的高度异构性和不同任务导致的统计异构性会降低整体模型训练效率。针对不同客户端的差异，单一的全局模型无法满足所有客户端的需求，而现有的个性化联邦学习机制一般只侧重解决数据集异构性问题，而忽略了客户端之间的联系，使得训练的模型的准确度不高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种云边端协同个性化联邦学习方法、系统、设备及介质，通过考虑客户端的特征信息以及客户端之间的关系图结构，能够有效提升模型的推理精确度和训练速度。

第一方面，本发明实施例提供了一种云边端协同个性化联邦学习方法，所述云边端协同个性化联邦学习方法包括：

获取多个客户端的终端设备产生的数据样本和所有客户端构成的图结构；

获取所述数据样本的特征矩阵表示和邻接矩阵表示，并根据所述特征矩阵表示和所述邻接矩阵表示，获得所述数据样本的特征张量和邻接张量；

根据所述邻接张量和所述特征张量，对所述多个客户端的终端设备进行聚类，获得多组客户端终端设备；

构建云边端协同个性化联邦学习的目标函数和特征图，并根据所述目标函数和特征图，对每组客户端终端设备进行个性化模型训练，更新每组客户端终端设备的个性化模型的参数；

根据所述个性化模型的参数、所述特征图和所述图结构，通过图卷积神经网络进行聚合，获得每个客户端的全局模型和个性化模型。

与现有技术相比，本发明第一方面具有以下有益效果：