[发明专利]一种降低通信次数的高效异步联邦学习方法

说明书

本发明涉及一种降低通信次数的高效异步联邦学习方法。本发明首先设计了一个随版本陈旧度自适应变化的超参数r，降低了版本陈旧度给异步联邦学习带来的误差并引导模型收敛；并且针对联邦学习通信量大的问题，通过在前期增大学习率和减小本地轮数，然后逐渐减小学习率增大本地轮数，能在有效减少模型训练的总通信回合数的情况下同时保证模型的性能基本不变，使系统更好的进行异步联邦学习。

技术领域：

本发明涉及一种降低通信次数的高效异步联邦学习方法，该方法在联邦学习领域有着很好的应用。

背景技术：

在异步联邦学习领域中，本地模型的版本陈旧度对于全局模型的更新会引起一定的误差甚至错误，控制版本陈旧度可以减轻版本陈旧度带来的误差并且引导模型收敛。同时，在联邦学习过程中，模型参数量大导致远程设备训练时通信量巨大一直是困扰联邦学习的一个问题。一般人们会使用模型蒸馏等方法减少模型参数量，降低每次通信的信息量。

如何控制联邦学习过程中的通信量，并且控制在异步联邦学习时版本陈旧度带来的误差是联邦学习的重要研究方向。在应对版本陈旧度的问题上，根据本地模型不同的版本陈旧度，让本地模型在更新全局模型时占有合适的权重，可以使得联邦学习既有着较快的收敛速度，又有良好的模型性能。同时，在联邦学习训练过程中，前期以较大的学习率，较小的本地回合数训练，并逐渐降低学习率，增加本地回合数，可以使模型训练时的总通信回合数减少，为降低联邦学习过程中的总通信量提供了新的思路。

发明内容：

为了降低异步联邦学习过程中版本陈旧度带来的影响，并且减少训练过程中的总通信次数，本发明公开了一种降低通信次数的高效异步联邦学习方法。

为此，本发明提供如下技术方案：

1.一种降低通信次数的高效异步联邦学习方法，其特征在于，该方法包括以下步骤：

步骤1：参数服务器在所有参与异步联邦学习的用户中随机拉取n个用户参与训练，当有用户训练结束时立即继续随机拉取用户参与训练，并保持训练过程中一直有n个用户参与训练；

步骤2：在训练前期，将使用户以较大的学习率和较小的本地回合数训练，并随训练将学习率逐渐降低，本地回合数逐渐升高；

步骤3：让获得模型和参数的用户使用本地数据集训练此模型；

步骤4：用户训练结束时，将模型参数发送给参数服务器，服务器根据用户训练过程中全局模型被其他用户的更新次数确定版本陈旧度，并利用超参数r和用户的本地模型更新全局模型；

步骤5：当全局模型收敛或达到某些特定条件时，参数服务器停止拉取用户并停止更新全局模型，全局模型训练完成；

2.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤1中，参数服务器拉取用户，具体步骤为：

步骤1-1在参数服务器上创建一个用于联邦学习的机器学习模型，初始化全局模型参数；

步骤1-2从所有参与联邦学习的用户中随机拉取n个用户参与训练，n的大小可自定义，n个用户异步并行的利用各自的本地数据对全局模型进行训练；

步骤1-3当有用户训练结束或者掉线时，继续拉取用户参与训练，使得参与训练的用户数始终保持为n。

3.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤2中，根据训练进程确定学习率和本地回合数，具体步骤为：

步骤2-1根据具体任务给模型设定相对较大的初始学习率和较小的本地回合数；

步骤2-2根据模型的训练进度情况，逐渐降低学习率，逐渐提高本地模型训练的回合数，并将这些参数与模型一同发送给用户。