[发明专利]一种模型训练方法、装置和电子设备

说明书

本发明实施例提供了一种模型训练方法、装置和电子设备，其中，所述方法适用于目标模型训练所依赖的数据横向分布在多个数据提供方的场景，所述方法包括：接收各数据提供方上传的中间结果，中间结果为密文，中间结果是各数据提供方基于本地私有数据对目标模型进行训练得到的；在密文基础上基于多方安全计算协议将各数据提供方上传的中间结果进行合并，确定目标模型的模型更新后的参数并存储；将模型更新后的参数分发给各数据提供方；以使各数据提供方分别依据模型更新后的参数更新目标模型并进行一轮训练以得到需上传的中间结果。本发明实施例对目标模型的训练都是由各数据提供方采用本地私有数据在本地进行的，能够保证各数据提供方的数据安全。

技术领域

本发明涉及数据处理领域，特别是涉及一种模型训练方法、装置和电子设备。

背景技术

随着科学技术的不断发展，解决各种不同问题的模型不断的被设计出来，使得模型被广泛的应用于各个领域；如数据挖掘领域、人工智能领域等等。其中，模型在被使用之前，需要采用训练数据来对其进行训练。

在实际应用中，模型训练所需的训练数据往往分布在多个数据提供方；为了提高模型的性能，需要采用各方的训练数据对模型进行训练；以在更大规模、更高质量的数据集上进行模型的训练。

现有技术中，一种模型训练的方法是由模型需求方对模型进行训练；即模型需求方从各个数据提供方收集明文数据，然后采用收集的明文数据对模型进行训练。但这种方式会将数据提供方的训练数据泄露给模型需求方，无法保证数据提供方提供的训练数据的安全。

发明内容

本发明实施例提供一种模型训练方法，以保证模型训练过程中的数据安全。

相应的，本发明实施例还提供了一种模型训练装置和电子设备，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例公开了一种模型训练方法，适用于目标模型训练所依赖的数据横向分布在多个数据提供方的场景；具体包括：接收各数据提供方上传的中间结果，其中，所述中间结果为密文，所述中间结果是各数据提供方基于本地私有数据对目标模型进行训练得到的；在密文基础上基于多方安全计算协议将各数据提供方上传的中间结果进行合并，确定所述目标模型的模型更新后的参数并存储；将所述模型更新后的参数分发给各数据提供方；以使各数据提供方分别依据所述模型更新后的参数更新所述目标模型，对更新后的目标模型进行一轮训练以得到需上传的中间结果。

可选地，当所述中间结果为模型参数时，所述在密文基础上基于多方安全计算协议将各数据提供方上传的中间结果进行合并，确定所述目标模型的模型更新后的参数，包括：确定各数据提供方对应的权重信息；按照各数据提供方对应的权重信息，在密文基础上采用多方安全计算协议对各数据提供方上传的模型参数进行加权计算，得到所述目标模型的模型更新后的参数。

可选地，当所述中间结果为梯度参数时，所述在密文基础上基于多方安全计算协议将各数据提供方上传的中间结果进行合并，确定所述目标模型的模型更新后的参数，包括：确定各数据提供方对应的权重信息；按照各数据提供方对应的权重信息，在密文基础上采用多方安全计算协议对各数据提供方上传的梯度参数进行加权计算；在密文基础上基于多方安全计算协议，采用加权计算的结果对所述目标模型进行参数更新，得到所述目标模型的模型更新后的参数。

可选地，当所述中间结果为梯度参数时，所述在密文基础上基于多方安全计算协议将各数据提供方上传的中间结果进行合并，确定所述目标模型的模型更新后的参数，包括：在密文基础上基于多方安全计算协议，依次采用各数据提供方上传的梯度参数对所述目标模型进行更新，得到所述目标模型的模型更新后的参数；或，在密文基础上基于多方安全计算协议，分别采用各数据提供方上传的梯度参数对所述目标模型进行更新，得到各数据提供方对应的模型更新后的参数；以及在密文基础上基于多方安全计算协议将各数据提供方对应的模型更新后的参数进行加权计算，得到所述目标模型的模型更新后的参数。