[发明专利]一种缓解异构性问题的联邦学习方法

说明书

本发明涉及一种缓解异构性问题的联邦学习方法，包括初始化所有客户端的任务量和历史训练数据；选取M个客户端作为第一客户端；并根据客户端的资源报告生成客户端的特征向量；将全局模型和第一客户端的任务量发送给第一客户端对全局模型训练获得本地模型；将客户端上传的本地模型进行聚合得到下一轮迭代训练的全局模型；利用全局模型的训练数据对第一客户端进行更新；服务器根据第一客户端向服务器上传的本地模型和利用辅助数据集重新划分下一轮全局模型迭代训练的第一客户端和第二客户端；并重复执行步骤S2‑S6，直至达到预设的训练轮数为止，输出最终全局模型。

技术领域

本发明属于联邦学习技术应用领域，具体涉及一种缓解异构性问题的联邦学习方法。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。

联邦学习作为新兴的人工智能技术，其主要包括：服务器和多个参与联邦学习的客户端，服务器将需要训练的机器学习模型下发给客户端，服务器向客户端下发机器学习模型的方式主要是通过模型参数的形势下发给客户端，多个客户端分别利用本地样本对模型参数进行训练，并将训练好的模型参数上传给服务器，服务器根据每个客户端上传到的模型参数，生成局部模型并利用局部模型计算模型参数在每个客户端上的梯度变化，将所有客户端的梯度变化聚合得到最终的全局模型，服务器将全局模型的模型参数发送给客户端完成联邦学习任务，联邦学习主要是模型在多个参与方进行移动，参与方的数据并不会进行移动，在多个客户端进行联邦学习时保证了各个参与方的隐私和数据安全。

但目前仍存在一些关键问题亟待解决，首先是客户端掉队问题，即客户端在规定时间内无法完成联邦训练任务上传给服务器本地模型，使得服务器聚合的全局模型失效，现有的解决方案大多数倾向于选择能够快速完成联邦训练任务的客户端参与联邦学习；其次是复杂模型的高计算复杂度问题，参与联邦学习的客户端规模巨大，而算法的计算成本随着客户端规模增加而增加，现有方案往往是对客户端上传的本地模型进行降维处理，减少计算参数；最后是客户端的数据异构问题，由于各个客户端的数据是非独立同分布的，使得联邦学习难以达到传统集中式训练的效果，现有方案致力于对客户端集群进行无偏的抽样或者尽量扩大参与模型训练的客户端数量。

综上所述，结合当前客户端选择已有的研究情况，发现虽然诸多学者已在客户端选择方面取得一些成果，但是仍然存在一些技术问题。

1.资源受限的客户端无法加入联邦学习训练。优选拥有更高计算资源的客户端可减少掉队情况，但资源受限的客户端的数据将难以参与训练，使得参与训练的客户端集群的数据分布长期偏移整体客户端集群的数据分布，模型泛化性能极大的降低。

2.降维带来的信息损失，将本地模型的参数降维虽然有效减少了算法计算时间，但在降维过程中很可能会丢失某些至关重要的信息，使得算法的效果难以达到预期的目标。

3.数据异构导致的客户端漂移问题，也就是小部分客户端的收敛方向与其他大部分的客户端的收敛方向有所偏差，详见论文《Towards Personalized FederatedLearning》。无偏抽样和扩大参与模型训练的客户端数量虽然使得参与训练的客户端集群的数据分布与整体客户端集群数据分布基本一致，保证了整体收敛方向的正确，但并不是最优方案，收敛方向偏移的客户端的本地模型在服务器聚合时将会出现大量的权重更新抵消现象降低模型收敛速度。

发明内容

为了解决背景技术中存在的问题，本发明提供一种缓解异构性问题的联邦学习方法，包括：

S1：服务器从所有客户端的数据库中抽取部分本地样本组成辅助数据集；并随机初始化所有客户端的任务量和历史训练数据；服务器根据预设的每轮参与全局模型训练的客户端数量M从所有客户端中随机选取M个客户端作为第一客户端；将其余客户端作为第二客户端；