[发明专利]模型训练方法、装置及系统

权利要求书

1.一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法由训练发起方执行，所述方法包括：

执行下述迭代过程，直到满足预定条件：

基于各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用无可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值；

确定所述特征样本集的当前预测值与对应的标记值之间的预测差值；

将所确定出的预测差值分割为所述第一数目个部分预测差值，并且将第二数目个部分预测差值中的每个分别发送给对应的训练协同方，所述第二数目等于所述第一数目减一；以及

基于所述训练发起方的当前子模型以及对应的部分预测差值与所述特征样本集之积来更新所述训练发起方的当前子模型，其中，在迭代过程未结束时，所述更新后的各个训练参与方的当前子模型被用作下一迭代过程的当前子模型，

其中，所述特征样本集使用第一特征矩阵X表示，以及所述各个训练参与方的子模型和对应的预测值分别使用第一权重子矩阵Wi和预测值矩阵Yi来表示，以及

基于各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用无可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值包括：

计算所述训练发起方的第一权重子矩阵与所述第一特征矩阵的矩阵乘积，以得到与所述训练发起方的子模型对应的部分预测值；

使用无可信初始化方的秘密共享矩阵乘法来计算各个训练协同方的第一权重子矩阵与所述第一特征矩阵的矩阵乘积，以得到与各个训练协同方的子模型对应的部分预测值；以及

对所得到的各个训练参与方的子模型所对应的部分预测值进行求和，以得到所述线性/逻辑回归模型针对所述特征样本集的当前预测值，

其中，使用无可信初始化方的秘密共享矩阵乘法来计算训练协同方的第一权重子矩阵与所述第一特征矩阵的矩阵乘积，以得到与训练协同方的子模型对应的部分预测值包括：

生成随机特征矩阵X1；

将所述随机特征矩阵X1减去所述第一特征矩阵X，以得到第二特征矩阵X2；

将随机特征矩阵X1的偶数行子矩阵X1_e减去随机特征矩阵X1的奇数行子矩阵X1_o而得到第三特征矩阵X3；

将所生成的第二特征矩阵X2和第三特征矩阵X3发送给训练协同方，以及从所述训练协同方接收第二权重子矩阵W_i2和第三权重子矩阵W_i3，其中，所述第二权重子矩阵W_i2是通过对该训练协同方的第一权重子矩阵Wi和随机权重子矩阵W_i1进行求和而得到的，以及所述第三权重子矩阵W_i3是通过将所述随机权重子矩阵W_i1的奇数列子矩阵加上所述随机权重子矩阵W_i1的偶数列子矩阵而得到的；

基于等式Y1＝W_i2*(2*X-X1)-W_i3*(X3+X1_e)进行矩阵计算，以得到第一矩阵乘积Y1，并将所述第一矩阵乘积Y1发送给所述训练协同方；

从所述训练协同方接收第二矩阵乘积Y2，所述第二矩阵乘积Y2是在所述训练协同方处基于等式Y2＝(Wi+2*W_i1)*X2+(W_i3+W_{i1_o})*X3计算出的，其中，W_{i1_o}是所述随机权重子矩阵W_i1的奇数列子矩阵；以及

对所述第一矩阵乘积Y1和所述第二矩阵乘积Y2进行求和，以得到与该训练协同方的子模型对应的部分预测值Yi。

2.如权利要求1所述的方法，还包括：

在所述第一特征矩阵X的行数不是偶数时，对所述第一特征矩阵X进行行维度补齐处理。