[发明专利]一种模型训练方法、装置和电子设备

说明书

本发明实施例提供了一种模型训练方法、装置和电子设备，其中，所述方法适用于目标模型训练所依赖的数据纵向分布在多个数据提供方的场景，所述方法包括：接收各数据提供方上传的中间结果，中间结果包括第一中间结果；在密文基础上基于多方安全计算协议依据各数据提供方上传的第一中间结果进行运算，确定目标模型的模型更新因子；将目标模型的模型更新因子，拆分为各数据提供方对应部分目标模型所需的模型更新因子并分发给对应的数据提供方；以使各数据提供方分别依据接收到的模型更新因子更新对应的部分目标模型，并对更新后的部分目标模型进行一轮训练以得到需上传的第一中间结果；进而保证了各数据提供方的数据安全和目标模型的安全。

技术领域

本发明涉及数据处理领域，特别是涉及一种模型训练方法、装置和电子设备。

背景技术

随着科学技术的不断发展，解决各种不同问题的模型不断的被设计出来，使得模型被广泛的应用于各个领域；如数据挖掘领域、人工智能领域等等。其中，模型在被使用之前，需要采用训练数据来对其进行训练。

在实际应用中，模型训练所需的训练数据往往分布在多个数据提供方；为了提高模型的性能，需要采用各方的训练数据对模型进行训练；以在更大规模、更高质量的数据集上进行模型的训练。

现有技术中，一种模型训练的方法是由模型需求方对模型进行训练；即模型需求方从各个数据提供方收集明文数据，然后采用收集的明文数据对模型进行训练。但这种方式会将数据提供方的训练数据泄露给模型需求方，无法保证数据提供方提供的训练数据的安全。

发明内容

本发明实施例提供一种模型训练方法，以保证模型训练过程中的数据安全。

相应的，本发明实施例还提供了一种模型训练装置和电子设备，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例公开了一种模型训练方法，所述方法适用于目标模型训练所依赖的数据纵向分布在多个数据提供方的场景，具体包括：接收各数据提供方上传的中间结果，其中，所述中间结果包括第一中间结果，所述第一中间结果为密文，所述第一中间结果依据各数据提供方基于本地私有数据对各自拥有的部分目标模型进行训练得到，各数据提供方拥有的部分目标模型联合构成所述目标模型；在密文基础上基于多方安全计算协议依据各数据提供方上传的第一中间结果进行运算，确定所述目标模型的模型更新因子；将所述目标模型的模型更新因子，拆分为各数据提供方对应部分目标模型所需的模型更新因子并分发给对应的数据提供方；以使各数据提供方分别依据接收到的模型更新因子更新对应的部分目标模型，并对更新后的部分目标模型进行一轮训练以得到需上传的第一中间结果。

可选地，当所述第一中间结果为计算目标模型的梯度所需的中间结果时，所述在密文基础上基于多方安全计算协议依据各数据提供方上传的第一中间结果进行运算，确定所述目标模型的模型更新因子，包括：根据计算目标模型的梯度所需的中间结果，在密文基础上基于多方安全计算协议进行运算，得到所述目标模型对应损失函数的梯度；依据所述目标模型对应损失函数的梯度，确定所述目标模型的模型更新因子。

可选地，当所述第一中间结果为计算目标模型的预测结果所需的中间结果时，所述在密文基础上基于多方安全计算协议依据各数据提供方上传的第一中间结果进行运算，确定所述目标模型的模型更新因子，包括：根据计算目标模型的预测结果所需的中间结果的密文，在密文基础上基于多方安全计算协议进行运算，得到所述目标模型的预测结果；依据所述目标模型的预测结果，确定所述目标模型对应损失函数的梯度计算因子；依据所述目标模型对应损失函数的梯度计算因子，确定所述目标模型的模型更新因子。

可选地，所述的方法还包括：判断是否需要继续训练所述目标模型；若确定需要继续训练所述目标模型，则执行所述在密文基础上基于多方安全计算协议依据各数据提供方上传的第一中间结果进行运算，确定所述目标模型的模型更新因子的步骤；若确定需要停止继续训练所述目标模型，则将最后得到的目标模型的目标模型参数发送至模型需求方，以及向各数据提供方发送结束训练消息。