[发明专利]联邦模型训练方法及装置

说明书

本申请实施例提供一种联邦模型训练方法及装置，该方法包括：接收中心设备发送的个性化模型，个性化模型的有效模型参数的数量小于全局模型的有效模型参数的数量。对个性化模型进行模型训练，得到个性化模型的训练梯度，训练梯度中包括个性化模型中各模型参数的梯度。根据个性化模型的梯度、个性化模型的模型参数和剪枝量，确定目标掩码序列，目标掩码序列用于中心设备确定下一轮训练中的个性化模型。向中心设备发送目标掩码序列和个性化模型的训练梯度。其中个性化的处理是依赖于掩码序列实现的，而无需训练额外的模型，从而可以有效的降低个性化联邦学习中本地训练的计算量。

技术领域

本申请实施例涉及计算机技术，尤其涉及一种联邦模型训练方法及装置。

背景技术

在传统联邦学习的基础上，个性化联邦学习允许本地设备拥有不同的 个性化模型，而不是共享相同的全局模型。

目前，现有技术中实现个性化联邦学习的时候，通常是各个本地设备 共同训练一个全局模型之外，各个本地设备还会分别训练各自的本地模型， 从而可以实现每个设备都拥有自己的个性化的模型。

然而，各个本地设备训练一个额外的本地模型，以实现实现个性化联 邦学习，会导致模型训练的计算量较大。

发明内容

本申请实施例提供一种联邦模型训练方法及装置，以克服个性化联邦学 习的模型训练的计算量较大的问题。

第一方面，本申请实施例提供一种联邦模型训练方法，应用于参与方设 备，包括：

接收中心设备发送的个性化模型，所述个性化模型的有效模型参数的数 量小于全局模型的有效模型参数的数量；

对所述个性化模型进行模型训练，得到所述个性化模型的训练梯度，所 述训练梯度中包括所述个性化模型中各模型参数的梯度；

根据所述个性化模型的梯度、所述个性化模型的模型参数和剪枝量，确 定目标掩码序列，所述目标掩码序列用于所述中心设备确定下一轮训练中的 个性化模型；

向所述中心设备发送所述目标掩码序列和所述个性化模型的训练梯度。

在一种可能的设计中，根据所述个性化模型的梯度、所述个性化模型的 模型参数和剪枝量，确定目标掩码序列，包括：

根据所述个性化模型的模型参数，确定第一掩码序列；

根据所述剪枝量对所述第一掩码序列中的部分掩码设置为第一预设值， 得到第二掩码序列；

根据所述剪枝量对所述第二掩码序列中的部分掩码设置为第二预设值， 得到所述目标掩码序列。

在一种可能的设计中，根据所述个性化模型的模型参数，确定第一掩码 序列，包括：

确定所述个性化模型的每个模型参数的参数状态；

根据所述个性化模型的每个模型参数的参数状态，确定所述第一掩码序 列。

在一种可能的设计中，根据所述个性化模型的每个模型参数的参数状态， 确定所述第一掩码序列，包括：

将有效状态的模型参数对应的掩码设置为第二预设值，以及将无效状态 的模型参数对应的掩码设置为第一预设值，以得到所述第一掩码序列。

在一种可能的设计中，所述剪枝量为α，所述α为大于或等于1的整数； 根据所述剪枝量对所述第一掩码序列中的部分掩码设置为第一预设值，得到 第二掩码序列，包括：

根据所述个性化模型中的有效模型参数的权重进行从大到小的排序，得 到有效模型参数序列；

将所述有效模型参数序列中末端的α个有效模型参数确定为第一有效模 型参数；