[发明专利]针对逻辑回归模型进行联合训练的方法及装置

说明书

本说明书实施例提供一种多方联合针对逻辑回归模型进行联合训练的方法及装置，在多方联合利用各自的隐私数据进行逻辑回归模型训练过程中，利用多项式、分段函数等对逻辑斯蒂函数进行近似计算，以减少逻辑斯蒂函数计算的复杂度。具体地，针对训练数据的特点，结合各个数据持有方所持有的隐私数据的实际情况，确定对逻辑斯蒂函数近似计算的不同精度需求，从而选择逻辑回归模型中针对逻辑斯蒂函数的近似方案。该方式可以兼顾多方安全计算的逻辑回归模型准确性和效率需求，提高多方安全计算场景下联合训练逻辑回归模型的有效性。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及多方联合针对逻辑回归模型进行联合训练的方法及装置。

背景技术

计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联合的机器学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。联合学习可以实现在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。

然而，由于行业竞争、数据安全、用户隐私等问题，数据整合面临着很大阻力，如何在保证数据不泄露的前提下将分散在各个平台的数据整合在一起，成为一项挑战。而基于多方安全计算(MPC)的联合学习过程中，复杂函数由于安全计算过程中会产生不可预知的错误等，通常使用其他方式进行近似。近似方案往往需要下准确性和效率之间进行权衡，而建模、联合学习过程中，不同阶段的准确性和效率要求也不相同，单一的近似方案难以满足联合学习不同阶段的需求。

发明内容

本说明书一个或多个实施例描述了一种多方联合针对逻辑回归模型进行联合训练的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种针对逻辑回归模型进行联合训练的方法，其中，所述逻辑回归模型包括逻辑斯蒂函数，用于对所述逻辑回归模型进行训练的业务数据包括分布于多个数据方的隐私数据，所述方法由所述多个数据方中的第一方执行，包括：基于从本地业务数据中针对各个业务对象分别提取的若干个属性特征，与其他数据方基于对属性特征的安全处理，在使用多个候选近似方案中的第一近似方案代替所述逻辑斯蒂函数的情况下，对所述逻辑回归模型进行训练；根据训练结果，与其他数据方安全训练所述逻辑回归模型，以得到所述逻辑回归模型的预测值的第一分片；根据所述逻辑回归模型的预测值的第一分片，与其他数据方安全确定模型损失，以基于模型损失检测所述逻辑回归模型的收敛性；基于对所述逻辑回归模型的收敛性的检测结果，确定是否在所述多个候选近似方案中选择第二近似方案代替所述逻辑斯蒂函数进行安全计算，以继续对所述逻辑回归模型进行安全联合训练；并且，在所述逻辑回归模型收敛的情况下，得到所述逻辑斯蒂函数的第一参数分片。

在一个实施例中，所述逻辑回归模型的模型收敛性通过以下方式检测：与其他数据方联合对所述属性特征在多方安全计算前提下进行归一化或标准化处理，以得到标准化特征矩阵的第一分片；基于所述标准化特征矩阵的第一分片，与其他数据方联合安全检测所述逻辑回归模型的参数变化率，以基于逻辑回归模型的参数变化率检测模型收敛性。

在一个实施例中，所述逻辑回归模型的参数变化率包括以下中的至少一项：模型损失的变化率、基于模型损失确定的梯度的变化率、基于梯度调整的待定参数的变化率。

在一个实施例中，所述第一近似方案为经由一阶多项式实现的候选近似方案，所述一阶多项式为以下中的一项：泰勒一阶展开多项式、Minimax一阶多项式。

在一个实施例中，在对所述逻辑回归模型的收敛性的检测结果为不具有收敛性的情况下，在所述多个候选近似方案中选择高于一阶的高阶多项式、分段函数中的至少一种的候选近似方案作为所述第二近似方案，继续对所述逻辑回归模型进行安全联合训练。