[发明专利]业务模型的联合训练方法及装置

说明书

本说明书实施例提供一种业务模型的联合训练方法及装置，在多方联合训练业务模型过程中，为了使用牛顿法以更快的收敛速度训练业务模型，在确定海森矩阵的逆矩阵时，引入由可信第三方生成的辅助矩阵，由联合训练业务模型的各个业务方以秘密共享方式来确定海森矩阵与辅助矩阵的乘积，并各自得到相应份额。之后，公开海森矩阵与辅助矩阵的乘积的合并结果，使各个业务方分别得到以上合并结果的逆矩阵，进而确定海森矩阵的逆矩阵的相应份额。根据这种特定的业务方交互方式设置，使得多方安全计算中，在保证数据隐私的前提下，利用牛顿法调整模型参数具有可行性，从而提高业务模型的联合训练效率。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及多方安全计算中，利用计算机对业务模型进行联合训练的方法和装置。

背景技术

大数据时代，很多数据可能分散存于不同的企业中，企业与企业之间基于隐私保护等方面的考虑，并不能完全分享彼此的数据，因此可能存在数据孤岛。

在一些情况下，企业与企业之间通常需要进行合作安全建模，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。此时，用于对数据处理模型进行训练的数据可以是分散在合作建模的各方的。因此，如何在模型训练的过程中基于对建模各方的数据隐私的保护，提供更有效的模型训练方式，是当前亟需解决的技术问题。

发明内容

本说明书一个或多个实施例描述了一种业务模型的联合训练方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供了一种业务模型的联合训练方法，用于多个业务方联合训练业务模型，所述业务模型用于对业务数据进行处理，得到相应的业务处理结果，所述多个业务方包括第一方、第二方和第三方，第一方和第二方联合持有用于训练所述业务模型的多个训练样本，第三方为辅助训练业务模型的可信第三方；所述方法由第一方执行，包括：与第二方秘密共享当前模型参数和当前训练样本对应的特征数据的融合结果，得到融合结果的第一份额；基于所述融合结果的第一份额，与第二方秘密共享当前模型参数的梯度和海森矩阵，得到所述当前模型参数的梯度的第一份额、所述海森矩阵的第一份额；利用从第三方接收的辅助矩阵的第一份额，与第二方秘密共享所述海森矩阵与所述辅助矩阵的乘积，得到所述乘积的第一份额，其中，所述辅助矩阵由第三方生成，并随机拆分得到辅助矩阵的第一份额和所述辅助矩阵的第二份额，所述辅助矩阵的第二份额由第三方发送至第二方；根据所述乘积的第一份额，与第二方公开所述海森矩阵与所述辅助矩阵的乘积的合并结果，或所述合并结果的逆矩阵；按照所述合并结果的逆矩阵，以及所述辅助矩阵的第一份额，确定所述海森矩阵的逆矩阵的第一份额；基于所述模型参数的梯度的第一份额、所述海森矩阵的逆矩阵的第一份额，与第二方秘密共享更新的模型参数，以获得更新的模型参数的第一份额。

根据一个实施方式，所述基于所述融合结果的第一份额，与第二方秘密共享当前模型参数的梯度和海森矩阵，得到所述当前模型参数的梯度的第一份额、所述海森矩阵的第一份额包括：基于所述融合结果的第一份额，得到所述融合结果的激励结果的第一份额，其中，所述激励结果的第一份额由与第二方秘密共享所述激励结果而得到；根据所述激励结果的第一份额，与第二方秘密共享所述当前模型参数的梯度以及海森矩阵，得到所述当前模型参数的梯度的第一份额以及所述海森矩阵的第一份额。

在一个实施例中，所述基于所述融合结果的第一份额，得到所述融合结果的激励结果的第一份额包括：向第三方发送所述融合结果的第一份额，以供第三方根据所述融合结果的第一份额，以及从第二方获取的所述融合结果的第二份额，确定基于激励函数处理所述融合结果得到的激励结果，并将所述激励结果拆分得到第一份额和第二份额；从第三方接收所述激励结果的第一份额。

在一个实施例中，所述方法还包括：按照与第二方协商一致的随机数生成方式和当前随机数种子，生成预定数量的随机数，根据与各个随机数分别对应的各个训练样本确定所述当前训练样本的以下中的一项：特征数据，标签数据，部分特征数据和标签数据。