[发明专利]双层公平联邦学习方法、装置和存储介质

说明书

本发明公开了一种双层公平联邦学习方法，其包括如下步骤：获取多个客户端的局部模型；中央服务端对所有局部模型进行聚合处理，得到全局模型；每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理，使对应的局部模型的模型参数接近所述全局模型的模型参数，以得到对应的新的局部模型；所述中央服务端依据所有新的局部模型更新所述全局模型；本发明能够在不泄露个体客户端的内部数据的情况下，依据各个客户端的非独立同分布数据生成具有较高泛化能力的全局模型，且各个客户端的局部模型依据全局模型进行调整实现所有客户端的模型训练共享。

技术领域

本发明涉及联邦学习技术领域，尤其涉及双层公平联邦学习方法、装置和存储介质。

背景技术

机器学习在各行各业中得到了越来越广泛的关注和应用。但是它需要大量的、全方位的数据来训练模型。而在现实世界中，大多数企业只有有限和单一方面的数据，传统的做法是将跨组织的数据融合到一个中央服务器中。随着越来越多的公司意识到数据安全和用户隐私的问题，不同公司之间的数据集成面临着巨大的阻力。因此，在大多数行业中，数据以孤岛的形式存在。

近年来，联邦学习的公平性引起了人们的关注。联邦学习的公平性分为两类：协作公平性和最小最大公平性。协作公平认为，由于不同客户的贡献可能不同，客户应该得到与其贡献相称的不同机器学习模型。最小最大公平性认为，要减少客户机模型性能差异，为所有客户机提供一个高质量的模型。本专利关注的是最小最大公平性。

现有的联邦学习的公平性主要关注最小最大公平性。联邦学习的兴起为解决数据孤岛问题提供了新的学习思路。联邦学习使得分布在不同地点的多个客户端在不泄露数据的情况下，建立一个共享的全局机器学习模型。

然而，传统的联邦学习只是追求全局模型在所有数据集上的效果，忽略了单个客户端的效果。由于客户端上的数据是非独立同分布(Non-IID)数据，虽然模型的整体准确度较高，但是某些客户端的效果却很差。近年来，公平性的联邦学习受到越来越多的关注，即降低模型在各个客户端的性能差异，这是符合实际意义。一方面，在联帮学习中，如果客户端无法得到好的模型，它可以随时退出学习过程，中心服务器需要确保每个客户机的效果，鼓励更多的客户端参与培训，以获得更好的全局模型。另一方面，减少客户端的模型性能差异可以提高全局模型的泛化能力，比如，如果模型在数据集D1和D2下损失是相同的，那么说明在D1数据上训练的模型可以在D2上很好地推广，反之亦然。

目前q-Fair federated learning(q-FFL)算法是比较受欢迎的最小最大公平性联邦学习算法。q-FFL将各个客户端的损失函数扩大，修正为原始目标函数的q+1的幂次方，其中q0。在这样的设置中，对误差较大的客户端赋予了相对较高的权重，从而减小了客户端的模型性能差异，提高了公平性。

但是，q-FFL算法存在以下缺点：首先，它没有考虑到联邦学习中的Non-IID情况。Non-IID数据会减慢收敛速度，精度会显著降低；其次，被扩大的客户端损失函数会导致不稳定的收敛。最后，q-FFL用准确度的方差作为公平性的定义，由于方差是是一个绝对指标，与准确度的量级有关，会造成评估不准确。

发明内容

本发明的目的是提供双层公平联邦学习方法、装置和存储介质，能够在不泄露个体客户端的内部数据的情况下，依据各个客户端的非独立同分布数据生成具有较高泛化能力的全局模型，且各个客户端的局部模型依据全局模型进行调整实现所有客户端的模型训练共享。

为了实现上有目的，本发明公开了一种双层公平联邦学习方法，其包括如下步骤：

S1、获取多个客户端的局部模型；

S2、中央服务端对所有局部模型进行聚合处理，得到全局模型；

S3、每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理，使对应的局部模型的模型参数接近所述全局模型的模型参数，以得到对应的新的局部模型；