[发明专利]基于纵向联邦学习的模型训练方法、系统、设备及介质

权利要求书

1.一种基于纵向联邦学习的模型训练方法，其特征在于，所述方法由多个参与方、异步辅助器和密钥服务器实现，所述方法用于对所述多个参与方中的当前参与方的模型参数进行多轮迭代更新，其中一轮迭代更新包括：

当前参与方获取自身对应的待训练模型和训练样本；

所述当前参与方基于所述待训练模型，计算得到所述训练样本对应的第一预测值，并将所述第一预测值发送至异步辅助器；所述异步辅助器存储有预设损失函数、所述训练样本对应的预设标签值和所述多个参与方中的其余参与方基于所述训练样本的第二预测值；

所述异步辅助器基于所述预设损失函数、预设标签值和所述第二预测值，计算得到当前参与方基于所述训练样本的真实值；

所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度；

所述当前参与方基于所述梯度，对所述待训练模型的参数进行更新，更新后的模型作为下一轮迭代的待训练模型或者当前参与方的最终模型。

2.如权利要求1所述的基于纵向联邦学习的模型训练方法，其特征在于，所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度，包括：

所述异步辅助器基于所述第一预测值和所述真实值，计算得到损失值；

所述当前参与方基于所述损失值，计算得到梯度。

3.如权利要求2所述的基于纵向联邦学习的模型训练方法，其特征在于，所述当前参与方基于所述损失值，计算得到梯度，包括：

所述异步辅助器基于所述损失值，计算得到所述当前参与方对应的训练偏差；

所述当前参与方基于所述训练偏差，计算得到梯度。

4.如权利要求3所述的基于纵向联邦学习的模型训练方法，其特征在于，在所述当前参与方获取自身对应的待训练模型和训练样本的步骤之前，所述方法还包括：

密钥服务器生成同态加密密钥，并将所述同态加密密钥分发至当前参与方、其余参与方以及异步辅助器；

所述将所述第一预测值发送至异步辅助器，包括：

当前参与方基于所述同态加密密钥对所述第一预测值加密后，发送至异步辅助器。

5.如权利要求4所述的基于纵向联邦学习的模型训练方法，其特征在于，所述当前参与方基于所述损失值，计算得到梯度，包括：

所述异步辅助器将所述训练偏差发送至密钥服务器；

所述密钥服务器对所述训练偏差进行解密，得到解密后的训练偏差；

所述密钥服务器将所述解密后的训练偏差发送至所述当前参与方；

所述当前参与方基于所述解密后的训练偏差，计算得到梯度。

6.如权利要求1所述的基于纵向联邦学习的模型训练方法，其特征在于，在将所述第一预测值发送至异步辅助器的步骤之后，所述方法还包括：

所述异步辅助器对存储的关联当前参与方的第一预测值进行更新。

7.如权利要求3所述的基于纵向联邦学习的模型训练方法，其特征在于，所述异步辅助器计算得到当前参与方基于所述训练样本的真实值的公式为：

其中，F(P)表示当前参与方P对应的真实值，L(y，h(B))表示预设损失函数，y表示训练样本对应的预设标签值，h(B)表示其余参与方B基于所述训练样本的第二预测值。

8.如权利要求7所述的基于纵向联邦学习的模型训练方法，其特征在于，所述异步辅助器基于所述第一预测值和所述真实值，计算得到损失值的公式为：

其中，L_P表示当前参与方P对应的损失值，f(P)表示当前参与方P对应的第一预测值。

9.如权利要求8所述的基于纵向联邦学习的模型训练方法，其特征在于，所述异步辅助器基于所述损失值，计算得到所述当前参与方对应的训练偏差，包括：

所述异步辅助器基于所述第一预测值，对所述损失值进行求偏导运算，得到当前参与方对应的训练偏差。