[发明专利]一种降低通信次数的高效异步联邦学习方法

权利要求书

1.一种降低通信次数的高效异步联邦学习方法，其特征在于，该方法包括以下步骤：

步骤1：参数服务器在所有参与异步联邦学习的用户中随机拉取n个用户参与训练，当有用户训练结束时立即继续随机拉取用户参与训练，并保持训练过程中一直有n个用户参与训练；

步骤2：在训练前期，将使用户以较大的学习率和较小的本地回合数训练，并随训练将学习率逐渐降低，本地回合数逐渐升高；

步骤3：让获得模型和参数的用户使用本地数据集训练此模型；

步骤4：用户训练结束时，将模型参数发送给参数服务器，服务器根据用户训练过程中全局模型被其他用户的更新次数确定版本陈旧度，并利用超参数r和用户的本地模型更新全局模型；

步骤5：当全局模型收敛或达到某些特定条件时，参数服务器停止拉取用户并停止更新全局模型，全局模型训练完成。

2.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤1中，参数服务器拉取用户，具体步骤为：

步骤1-1在参数服务器上创建一个用于联邦学习的机器学习模型，初始化全局模型参数；

步骤1-2从所有参与联邦学习的用户中随机拉取n个用户参与训练，n的大小可自定义，n个用户异步并行的利用各自的本地数据对全局模型进行训练；

步骤1-3当有用户训练结束或者掉线时，继续拉取用户参与训练，使得参与训练的用户数始终保持为n。

3.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤2中，根据训练进程确定学习率和本地回合数，具体步骤为：

步骤2-1根据具体任务给模型设定相对较大的初始学习率和较小的本地回合数；

步骤2-2根据模型的训练进度情况，逐渐降低学习率，逐渐提高本地模型训练的回合数，并将这些参数与模型一同发送给用户。

4.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤3中，用户使用本地数据集训练模型，具体步骤为：

步骤3-1在用户A被参数服务器拉取后，用户A立刻从参数服务器下载全局模型和参数，若用户A曾经参与过训练，则只需要更新模型参数；

步骤3-2用户A根据参数服务器要求的学习率和本地回合数，使用本地数据集A对从参数服务器下载的全局模型进行训练。

5.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤4中，用户提交本地模型，具体步骤为：

步骤4-1用户A利用本地数据集A将下载的全局模型训练结束后，将更新后的模型参数提交给参数服务器；

步骤4-2参数服务器根据用户A本次训练过程中，参数服务器中的全局模型被其他用户更新次数v，确定版本陈旧度为v，利用根据版本陈旧度自适应调整的超参数r更新全局模型。其中，全局模型更新公式为：

W_t＝W_t-1+r×ΔW

其中：

ΔW＝W_local-W_t-1

r＝(v+2)^-a

W_t为参数服务器本次更新后的全局模型，W_t-1为本次更新前，即参数服务器经过t-1次更新后的全局模型，W_local为本次用户提交的本地模型，v为提交的本地模型的版本陈旧度，a为自设定参数，a∈(0,1)。

6.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤5中，训练结束，参数服务器停止拉取用户，具体步骤为：

步骤5-1当参数服务器检测到全局模型已经收敛或者达到了提前设定的某些条件后，参数服务器停止更新全局模型；

步骤5-2参数服务器停止拉取用户参与训练，此次联邦学习训练的全局模型成功。