[发明专利]模型训练方法、装置及系统

说明书

本公开提供用于训练线性/逻辑回归模型的方法和装置。在该方法包中，执行下述迭代过程，直到满足预定条件：基于各个训练参与方的当前子模型以及训练发起方的特征样本集，使用无可信初始化方的秘密共享矩阵乘法来获得针对特征样本集的当前预测值；训练发起方确定特征样本集的当前预测值与对应的标记值之间的预测差值，对预测差值进行分割并将分割后的部分预测差值发送给各个训练协同方；各个训练参与方基于当前子模型以及对应的部分预测差值与特征样本集之积来更新各自的子模型，在各个训练协同方处，所接收的部分预测差值与特征样本集之积是使用无可信初始化方的秘密共享矩阵乘法获得。该方法能够在保证各方数据安全的情况下提高模型训练的效率。

技术领域

本公开通常涉及机器学习领域，尤其涉及用于使用水平切分的训练集来经由多个训练参与方协同训练线性/逻辑回归模型的方法、装置及系统。

背景技术

线性回归模型和逻辑回归模型是机器学习领域广泛使用的回归/分类模型。在很多情况下，多个模型训练参与方(例如，电子商务公司、快递公司和银行)各自拥有训练线性/逻辑回归模型所使用的特征样本的不同部分数据。该多个模型训练参与方通常想共同使用彼此的数据来统一训练线性/逻辑回归模型，但又不想把各自的数据提供给其它各个模型训练参与方以防止自己的数据被泄露。

面对这种情况，提出了能够保护数据安全的机器学习方法，其能够在保证多个模型训练参与方的各自数据安全的情况下，协同该多个模型训练参与方来训练线性/逻辑回归模型，以供该多个模型训练参与方使用。然而，现有的能够保护数据安全的机器学习方法的模型训练效率较低。

发明内容

鉴于上述问题，本公开提供了一种用于经由多个训练参与方协同训练线性/逻辑回归模型的方法、装置及系统，其能够在保证多个训练参与方的各自数据安全的情况下提高模型训练的效率。

根据本公开的一个方面，提供了一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法由训练发起方执行，所述方法包括：执行下述迭代过程，直到满足预定条件：基于各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用无可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值；确定所述特征样本集的当前预测值与对应的标记值之间的预测差值；将所确定出的预测差值分割为所述第一数目个部分预测差值，并且将第二数目个部分预测差值中的每个分别发送给对应的训练协同方，所述第二数目等于所述第一数目减一；以及基于所述训练发起方的当前子模型以及对应的部分预测差值与所述特征样本集之积来更新所述训练发起方的当前子模型，其中，在迭代过程未结束时，所述更新后的各个训练参与方的当前子模型被用作下一迭代过程的当前子模型。

根据本公开的另一方面，提供一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法由训练协同方执行，所述方法包括：执行下述迭代过程，直到满足预定条件：使用无可信初始化方的秘密共享矩阵乘法来基于训练协同方的当前子模型与所述训练发起方处的特征样本集，获取与所述训练协同方的子模型对应的部分预测值；从所述训练发起方接收对应的部分预测差值，其中，所述部分预测差值是在所述训练发起方处对所述特征样本集的当前预测值与对应的标记值之间的预测差值进行分割后得到的所述第一数目个部分预测差值中的一个部分预测差值，所述当前预测值是在所述训练发起方处对所得到的各个训练参与方的子模型所对应的部分预测值进行求和而得到的；以及基于所述训练协同方的当前子模型以及所接收的部分预测差值与所述特征样本集之积来更新所述训练协同方的当前子模型，所接收的部分预测差值与所述特征样本集之积是在所述训练协同方处使用无可信初始化方的秘密共享矩阵乘法来获得的，其中，在迭代过程未结束时，所述更新后的各个训练参与方的当前子模型被用作下一训练迭代过程的当前子模型。