[发明专利]联邦模型训练方法及装置

权利要求书

1.一种联邦模型训练方法，其特征在于，应用于参与方设备，所述方法包括：

接收中心设备发送的个性化模型，所述个性化模型的有效模型参数的数量小于全局模型的有效模型参数的数量；

对所述个性化模型进行模型训练，得到所述个性化模型的训练梯度，所述训练梯度中包括所述个性化模型中各模型参数的梯度；

根据所述个性化模型的梯度、所述个性化模型的模型参数和剪枝量，确定目标掩码序列，所述目标掩码序列用于所述中心设备确定下一轮训练中的个性化模型；

向所述中心设备发送所述目标掩码序列和所述个性化模型的训练梯度。

2.根据权利要求1所述的方法，其特征在于，根据所述个性化模型的梯度、所述个性化模型的模型参数和剪枝量，确定目标掩码序列，包括：

根据所述个性化模型的模型参数，确定第一掩码序列；

根据所述剪枝量对所述第一掩码序列中的部分掩码设置为第一预设值，得到第二掩码序列；

根据所述剪枝量对所述第二掩码序列中的部分掩码设置为第二预设值，得到所述目标掩码序列。

3.根据权利要求2所述的方法，其特征在于，根据所述个性化模型的模型参数，确定第一掩码序列，包括：

确定所述个性化模型的每个模型参数的参数状态；

根据所述个性化模型的每个模型参数的参数状态，确定所述第一掩码序列。

4.根据权利要求3所述的方法，其特征在于，根据所述个性化模型的每个模型参数的参数状态，确定所述第一掩码序列，包括：

将有效状态的模型参数对应的掩码设置为第二预设值，以及将无效状态的模型参数对应的掩码设置为第一预设值，以得到所述第一掩码序列。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述剪枝量为α，所述α为大于或等于1的整数；根据所述剪枝量对所述第一掩码序列中的部分掩码设置为第一预设值，得到第二掩码序列，包括：

根据所述个性化模型中的有效模型参数的权重进行从大到小的排序，得到有效模型参数序列；

将所述有效模型参数序列中末端的α个有效模型参数确定为第一有效模型参数；

将所述第一掩码序列中所述第一有效模型参数对应的掩码设置为所述第一预设值，得到所述第二掩码序列。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述剪枝量为α，所述α为大于或等于1的整数；根据所述剪枝量对所述第二掩码序列中的部分掩码设置为第二预设值，得到所述目标掩码序列，包括：

获取所述第二掩码序列中各第一掩码对应的梯度，所述第一掩码的值为所述第一预设值；

根据所述第二掩码序列中各第一掩码对应的梯度，在所述第二掩码序列的第一掩码中确定α个待选掩码；

将所述第二掩码序列中的所述α个待选掩码设置为所述第二预设值，得到所述目标掩码序列。

7.根据权利要求6所述的方法，其特征在于，获取所述第二掩码序列中各第一掩码对应的梯度，包括：

确定所述第二掩码序列中各第一掩码对应的模型参数；

将各第一掩码对应的模型参数的梯度确定为各第一掩码对应的梯度。

8.根据权利要求6或7所述的方法，其特征在于，根据所述第二掩码序列中各第一掩码对应的梯度，在所述第二掩码序列的第一掩码中确定α个待选掩码，包括：

按照对应的梯度从大到小的顺序，对所述第二掩码序列中的第一掩码进行排序；

将排序后的第一掩码中的前α个掩码确定为所述α个待选掩码。

9.根据权利要求8所述的方法，其特征在于，所述模型训练包括N次迭代，所述N为大于1的整数；对所述个性化模型进行模型训练，得到所述个性化模型的训练梯度，包括：

获取每个模型参数对应的N个中间梯度；

根据每个模型参数对应的N个中间梯度，确定得到所述个性化模型的训练梯度。