[发明专利]联邦模型训练方法、装置、可读存储介质及设备

说明书

本发明实施例提供了一种联邦模型训练方法、装置及可读存储介质，方法包括：获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，采用目标损失函数，对第一模型的第一模型参数进行链式求导得到目标梯度值计算公式，基于目标梯度值计算公式、第一回归结果、第二回归结果、以及第一训练数据的标签数据，确定第一模型参数更新过程中的目标中间结果，基于目标梯度值计算公式、目标中间结果、以及第一训练数据，计算第一模型参数的目标梯度值，基于第一模型参数的目标梯度值、以及第一模型的预设学习率，确定第一模型的新模型参数，并采用新模型参数更新第一模型参数，提高了模型的预测效果的准确性。

技术领域

本发明涉及计算机技术领域，特别是涉及一种联邦模型训练方法、装置、可读存储介质及设备。

背景技术

近年来，由于机器学习的广泛应用，基于机器学习或者深度学习的方法逐渐被应用于各个技术领域并且取得了巨大的成功。例如各机构可以通过机器学习训练预测模型，并通过预测模型进行人脸检测、语音识别、文字/手写体识别等。

由于各机构间存储的数据特征不同，为了同时保证数据安全和用户隐私，机构之间不能直接互通数据，若机构需要预测模型，仅能基于机构自身存储的数据进行训练，因此，如何通过联邦学习进行预测，并提高预测效果是本领域技术人员需解决的技术问题。

发明内容

本发明实施例的目的在于提供一种联邦模型训练方法、装置、可读存储介质及设备，以提供一种通过联邦学习进行预测，并提高预测效果的方案。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种联邦模型训练方法，执行于第一参与方，所述方法包括：

获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，其中，所述第一回归结果为所述第一模型基于所述第一模型的第一模型参数和第一训练数据确定的，所述第二回归结果为所述第二模型基于所述第二模型的第二模型参数和第二训练数据确定的；

采用目标损失函数，对所述第一模型的第一模型参数进行链式求导，以确定所述第一模型参数的目标梯度值计算公式；

基于所述目标梯度值计算公式、所述第一回归结果、所述第二回归结果、以及所述第一训练数据的标签数据，确定所述第一模型参数更新过程中的目标中间结果；

基于所述目标梯度值计算公式、所述目标中间结果、以及所述第一训练数据，计算所述第一模型参数的目标梯度值；

基于所述第一模型参数的目标梯度值、以及所述第一模型的预设学习率，确定所述第一模型的新模型参数，并采用所述新模型参数更新所述第一模型参数，以对所述第一模型进行训练。

在本发明实施的第二方面，还提供了一种联邦模型训练方法，执行于第二参与方，所述方法包括：

从第一参与方获取目标中间结果，其中，所述目标中间结果为所述第一参与方基于第一参与方计算的目标梯度值计算公式、所述第一参与方的第一模型的第一回归结果、第二参与方的第二模型的第二回归结果、以及所述第一模型的第一训练数据的标签数据，确定的所述第一模型参数更新过程中的结果，所述目标梯度值计算公式为所述第一参与方采用目标损失函数，对所述第一模型的第一模型参数进行链式求导获得的；

采用所述目标损失函数，对所述第二模型的第二模型参数进行链式求导，以确定所述第二模型的第二模型参数的目标梯度值计算公式；

基于第二模型的第二模型参数的目标梯度值计算公式、所述目标中间结果、以及所述第二模型的第二训练数据，计算所述第二模型的第二模型参数的目标梯度值；

基于所述第二模型参数的目标梯度值、以及与所述第二模型和所述第一模型均对应的预设学习率，确定所述第二模型的新模型参数，并采用所述新模型参数更新所述第二模型参数，以对所述第二模型进行训练。