[发明专利]多个计算单元联合训练逻辑回归模型的方法和装置

摘要

本说明书实施例提供一种多个计算单元联合训练逻辑回归模型的方法和装置，其中主计算单元中存储样本的第一部分特征和样本标签，从计算单元存储样本的第二部分特征。在联合训练的迭代过程中，针对采样的任意样本，主计算单元和从计算单元各自根据本地存储的该样本的特征部分和模型参数部分，得到部分处理值。主计算单元汇总各个部分处理值后，根据总处理值，该样本的标签值，以及之前采样该样本时存储的梯度值，采用方差约减方式得到不泄露标签值的中间值，并将其发送给从计算单元。于是，各个计算单元可以根据该中间值更新模型参数，进行后续迭代。

主权项

1.一种多个计算单元联合训练逻辑回归模型的方法，所述多个计算单元包括主计算单元和至少一个从计算单元，所述主计算单元存储有训练样本集中各个样本的标签值以及第一部分样本特征；所述至少一个从计算单元各自存储有所述各个样本的第二部分样本特征，所述方法应用于所述主计算单元，该方法包括多次迭代，每次迭代包括：/n从所述训练样本集中选择第一样本，将所述第一样本对应的第一样本标识发送给所述至少一个从计算单元；/n根据所述第一样本的第一部分样本特征构成的第一特征向量，以及在所述主计算单元中训练的第一部分模型参数，确定第一处理值；/n从所述至少一个从计算单元接收针对所述第一样本的至少一个第二处理值，并结合所述第一处理值确定所述第一样本的总处理值；其中所述第二处理值至少根据所述第一样本的第二部分样本特征，以及在各个从计算单元中训练的第二部分模型参数而确定；/n读取本次迭代前存储的、与所述训练样本集的第一部分样本特征对应的第一平均梯度向量，以及与所述第一样本对应的第一梯度值；/n根据所述总处理值以及所述第一样本对应的标签值，得到所述第一样本的损失中间值，将所述损失中间值与所述第一梯度值的差值作为本轮中间值；/n根据所述第一平均梯度向量，所述第一特征向量和所述本轮中间值，更新所述第一部分模型参数；/n向所述至少一个从计算单元发送所述本轮中间值，用于更新所述第二部分模型参数；/n至少根据所述本轮中间值，更新所述第一梯度值和第一平均梯度向量。/n