[发明专利]一种模型训练方法、系统及装置

说明书

本说明书涉及一种模型训练方法、系统和装置，能够用于数据隐私保护。该方法包括，各训练成员将自身持有的训练样本的特征数据输入至模型的第一部分，得到初始输出矩阵；接收标签预测值，基于训练样本的标签值以及所述标签预测值确定损失函数值；将所述损失函数值传输给所述服务器，以便服务器基于所述损失函数值在模型的第二部分中反向传播梯度，直到获取输出梯度矩阵；基于所述损失函数相对模型的第一部分中各层的输出数据的梯度，继续反向传播梯度，以对模型的第一部分的模型参数进行更新；基于更新后的模型的第一部分进行下一轮迭代更新，或者基于此确定最终模型的第一部分。

技术领域

本说明书涉及机器学习领域，特别涉及一种模型训练方法、系统及装置。

背景技术

在数据分析、数据挖掘、经济预测等领域，机器学习模型可被用来分析、发现潜在的数据价值。由于单个数据拥有方持有的数据可能是不完整的，由此难以准确地刻画目标，为了得到更好的模型预测结果，可以对不同数据拥有方持有的不同数据采用联邦学习模式进行模型训练。

因此，如何在联合学习过程中保证隐私数据安全的情况下兼顾训练效果成为有待解决的问题。

发明内容

本说明书实施例之一提供一种模型训练方法，所述方法由参与方中的任一训练成员实现，所述参与方包括多个训练成员以及服务器；其中，训练成员持有模型的第一部分以及训练样本，服务器持有模型的第二部分，所述模型的第二部分的输入层的各输入数据与所述模型的第一部分中至少两层的各输出数据分别对应；所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：将自身持有的训练样本的特征数据输入至模型的第一部分，得到初始输出矩阵；所述初始输出矩阵基于模型的第一部分中所述至少两层的输出数据生成；基于所述初始输出矩阵，确定并输出第一输出矩阵；接收标签预测值，基于训练样本的标签值以及所述标签预测值确定损失函数值；将所述损失函数值传输给所述服务器，以便服务器基于所述损失函数值在模型的第二部分中反向传播梯度，直到获取输出梯度矩阵；其中，所述输出梯度矩阵的元素包括损失函数相对所述初始输出矩阵中各元素的梯度；接收服务器返回的所述输出梯度矩阵，基于所述输出梯度矩阵确定所述损失函数相对模型的第一部分中所述至少两层的输出数据的梯度；基于所述损失函数相对模型的第一部分中所述至少两层的输出数据的梯度，继续反向传播梯度，以对模型的第一部分的模型参数进行更新；基于更新后的模型的第一部分进行下一轮迭代更新，或者基于此确定最终模型的第一部分。

本说明书实施例之一提供一种模型训练系统，所述系统布置于参与方中的任一训练成员处，所述参与方包括多个训练成员以及服务器；其中，训练成员持有模型的第一部分以及训练样本，服务器持有模型的第二部分，所述模型的第二部分的输入层的各输入数据与所述模型的第一部分中至少两层的各输出数据分别对应；所述系统用于对模型参数进行多轮迭代更新，所述系统包括初始输出矩阵获取模块、第一输出矩阵获取模块、损失函数值确定模块、传输模块、梯度计算模块、第一模型更新模块以及第一模型确定模块；在其中一轮迭代更新中：初始输出矩阵获取模块用于将自身持有的训练样本的特征数据输入至模型的第一部分，得到初始输出矩阵；所述初始输出矩阵基于模型的第一部分中所述至少两层的输出数据生成；第一输出矩阵获取模块用于基于所述初始输出矩阵，确定并输出第一输出矩阵；损失函数值确定模块用于接收标签预测值，基于训练样本的标签值以及所述标签预测值确定损失函数值；传输模块用于将所述损失函数值传输给所述服务器，以便服务器基于所述损失函数值在模型的第二部分中反向传播梯度，直到获取输出梯度矩阵；其中，所述输出梯度矩阵的元素包括损失函数相对所述初始输出矩阵中各元素的梯度；梯度计算模块用于接收服务器返回的所述输出梯度矩阵，基于所述输出梯度矩阵确定所述损失函数相对模型的第一部分中所述至少两层的输出数据的梯度；第一模型更新模块用于基于所述损失函数相对模型的第一部分中所述至少两层的输出数据的梯度，继续反向传播梯度，以对模型的第一部分的模型参数进行更新；第一模型确定模块用于基于更新后的模型的第一部分进行下一轮迭代更新，或者基于此确定最终模型的第一部分。

本说明书实施例之一提供一种隐私保护的模型训练装置，包括处理器，所述处理器布置于任一训练成员上，用于执行上述模型训练方法。