[发明专利]基于异构数据的联邦学习系统

说明书

本发明涉及一种基于异构数据的联邦学习系统，包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器，所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W，所述全局控制变量S用于记录本轮全局模型更新的方向；所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Sⁱ，所述本地控制变量Sⁱ用于记录客户端本次参与联邦学习训练的本地模型更新的方向，i的取值为1到K。本发明降低了基于异构数据的联邦学习的通信代价，提高了联邦学习收敛速度和收敛稳定性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于异构数据的联邦学习系统。

背景技术

联邦学习是一种特殊的分布式学习框架。主要用于解决数据孤岛的问题。在联邦学习中，数据是存在于各个本地客户端上的，所有的数据是不能聚集到某一个地方进行传统集中式学习的。现有的联邦学习中的联邦平均算法(简称FedAvg)因其简单性和低通信开销，成为了联邦学习领域首选的优化算法。现有的联邦平均算法适用于客户端数据集独立同分布的情况，然而在异构性较强的数据集上，联邦平均算法会由于客户端数据分布的差异产生收敛速度慢、收敛不稳定，通信代价高，甚至无法收敛等一系列技术问题，这主要是因为联邦平均算法在本地进行了多次更新，而这种方式会让全局模型的参数更新方向与理想的更新方向发生偏差，进而导致收敛速度缓慢。由此可知，如何提供一种适用于异构数据的联邦学习技术，降低基于异构数据的联邦学习的通信代价，提高收敛速度和收敛稳定性成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种基于异构数据的联邦学习系统，降低了基于异构数据的联邦学习的通信代价，提高了联邦学习收敛速度和收敛稳定性。

根据本发明第一方面，提供了一种基于异构数据的联邦学习系统，包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器，

所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W，所述全局控制变量S用于记录本轮全局模型更新的方向；

所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Sⁱ，所述本地控制变量Sⁱ用于记录客户端本次参与联邦学习训练的本地模型更新的方向，i的取值为1到K；

所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、初始化中央服务器的全局联邦模型的参数W₀、全局控制变量S₀、全局学习率η_g，初始化每一客户端的本地控制变量本地学习率η_u，初始化t＝1；

步骤S2、在第t轮训练中，随机选择m个客户端，mK,将t-1轮对应的全局模型参数w_t-1和全局控制变量s_t-1发送给所有所选客户端，将每一所选客户端的当前本地模型yⁱ参数更新为w_t-1；

步骤S3、基于每一所选客户端的本地数据对yⁱ进行本地模型训练，根据每一所选客户端上次参与联邦学习本地控制变量预设的本地更新次数Qⁱ、上一轮全局控制变量s_t-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数用于表示本轮所有本地更新的梯度的模长的总和和本轮本地控制变量将存储至对应客户端本地，其中，n表示截止第t轮训练所选客户端参与联邦学习的次数，x表示对应的联邦学习轮次，其中，n-1小于等于x；

步骤S4、所述服务器从每一所选客户端获取对应的和获取本轮全局模型参数W_t和全局控制变量S_t，然后将W_t和S_t更新存储至所述中央服务器中；