[发明专利]基于纵向联邦学习的模型训练方法、系统、设备及介质

说明书

本发明提供了一种基于纵向联邦学习的模型训练方法、系统、设备及介质，所述方法包括步骤：当前参与方获取自身对应的待训练模型和训练样本；所述当前参与方基于所述待训练模型，计算得到所述训练样本对应的第一预测值，并将所述第一预测值发送至异步辅助器；所述异步辅助器基于所述预设损失函数、预设标签值和所述第二预测值，计算得到当前参与方基于所述训练样本的真实值；所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度；所述当前参与方基于所述梯度，对所述待训练模型的参数进行更新，更新后的模型作为下一轮迭代的待训练模型或者当前参与方的最终模型；本申请实现了上述模型的异步训练，提高了模型训练效率。

技术领域

本发明涉及人工智能技术领域，具体地说，涉及一种基于纵向联邦学习的模型训练方法、系统、设备及介质。

背景技术

联邦学习指的是多个数据拥有方(即参与方)在原始数据不出本地的情况下也可进行模型训练并得到最终模型的计算过程，并且保证模型效果与聚合训练效果的差距足够小。根据数据分布情况，可以把联邦学习分为横向联邦学习、纵向联邦学习以及联邦迁移学习。

对于纵向联邦学习，由于同一样本的不同特征分属于不同的训练参与方，并且样本标签与特征也是处于分离的状态，即训练参与方拥有相同的样本空间和不同的特征空间。现有技术中提出的基于纵向联邦学习的模型同步训练方法在进行训练时，每轮迭代更新都需要联合全部参与方的计算值去拟合样本标签值，所有参与方同步更新模型参数。由于各个参与方的数据量、计算速度和网络延迟都不一致，训练时间由处理最慢的参与方决定，从而形成木桶效应，影响训练效率。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种基于纵向联邦学习的模型训练方法、系统、设备及介质，解决现有的基于纵向联邦学习的模型训练方法训练效率较低的问题。

为实现上述目的，本发明提供了一种基于纵向联邦学习的模型训练方法，所述方法由多个参与方、异步辅助器和密钥服务器实现，所述方法用于对当前参与方的模型参数进行多轮迭代更新，其中一轮迭代更新包括：

当前参与方获取自身对应的待训练模型和训练样本；

所述当前参与方基于所述待训练模型，计算得到所述训练样本对应的第一预测值，并将所述第一预测值发送至异步辅助器；所述异步辅助器存储有预设损失函数、所述训练样本对应的预设标签值和所述多个参与方中的其余参与方基于所述训练样本的第二预测值；

所述异步辅助器基于所述预设损失函数、预设标签值和所述第二预测值，计算得到当前参与方基于所述训练样本的真实值；

所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度；

所述当前参与方基于所述梯度，对所述待训练模型的参数进行更新，更新后的模型作为下一轮迭代的待训练模型或者当前参与方的最终模型。

可选地，所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度，包括：

所述异步辅助器基于所述第一预测值和所述真实值，计算得到损失值；

所述当前参与方基于所述损失值，计算得到梯度。

可选地，所述当前参与方基于所述损失值，计算得到梯度，包括：

所述异步辅助器基于所述损失值，计算得到所述当前参与方对应的训练偏差；

所述当前参与方基于所述训练偏差，计算得到梯度。

可选地，在所述当前参与方获取自身对应的待训练模型和训练样本的步骤之前，所述方法还包括：

密钥服务器生成同态加密密钥，并将所述同态加密密钥分发至当前参与方、其余参与方以及异步辅助器；

所述将所述第一预测值发送至异步辅助器，包括：